Seguridad y Alineación en la Era de Modelos de Larga Duración

OpenAI publica las lecciones aprendidas al implementar modelos de IA de larga duración (long-horizon models) que realizan tareas complejas de múltiples pasos que requieren un período prolongado. La empresa identificó nuevas categorías de riesgos de seguridad, incluido el uso no intencionado encubierto, la acumulación de errores en cadenas largas de acciones y el monitoreo dificultoso. Basándose en las fallas observadas, OpenAI implementó protocolos de seguridad mejorados y métodos de control, destacando la importancia de la implementación iterativa para identificar y mitigar las amenazas de manera oportuna.