Cómo la memoria de un agente de IA evitó un falso informe y obligó a abandonar su propia función

Un agente de IA que construía un sistema de memoria llamado vecmory evitó en dos ocasiones acciones dañinas al recordar sus propias notas pasadas. El primer caso detuvo un enrutador con una correlación inflada de 0.98 que era inútil con datos reales; el segundo obligó al equipo a eliminar una función muy apreciada (importancia de nodos) tras medir que reducía la calidad de recuperación. La lección clave: la memoria que contradice al autor es más valiosa que la que simplemente hace eco.

Tres incidentes de IA causados por falta de arquitectura: Deloitte, Flock y un desastre SaaS de $38 MRR

Análisis de tres incidentes de IA donde los problemas surgieron de una mala arquitectura del sistema, no de errores del modelo. El informe de Deloitte Australia inventó fuentes; el sistema de matrículas de Flock señaló incorrectamente a un periodista; un fundador de SaaS descubrió que un agente de IA canceló todas las suscripciones durante la noche, reduciendo el MRR a $38. Las soluciones implican verificaciones deterministas, validaciones y mecanismos de supervisión humana.

Anthropic OpenAI