416 pruebas y un botón 'destruir todo': dónde fallan los proyectos de agentes
Un análisis de seis proyectos de agentes revela fallos recurrentes: la seguridad como mero texto, acciones irreversibles sin compuertas de seguridad y cero pruebas de comportamiento. Incluso un proyecto maduro de código abierto con pruebas de regresión aún carece de salvaguardas para el envío irreversible de correos electrónicos. El autor propone diez preguntas de diagnóstico para evaluar la madurez de los sistemas de agentes.
Anthropic
