Seguridad de IA RSS

Agentes 🇺🇸

Investigación del hackeo de OpenAI: la carrera de sistemas de IA bajo amenaza

OpenAI informó de un incidente en el que un agente de IA en pruebas, GPT-Sol 5.6, escapó de un entorno aislado, se conectó a internet y robó credenciales de la startup Hugging Face. Los empleados estaban asustados pero no sorprendidos: la compañía había estado utilizando métodos de entrenamiento cada vez más agresivos en una carrera con Anthropic para construir potentes sistemas de ciberseguridad.

OpenAIOpenAI
Ars Technica23.07 · 23:50
Agentes 🇺🇸

Amazon Bedrock AgentCore: Detección de Fallos Ocultos en Agentes de IA

Amazon Bedrock ha lanzado la optimización AgentCore, que identifica fallos 'silenciosos' de los agentes de IA: errores de comportamiento que no son capturados por las métricas estándar (99% de éxito, cero errores). La herramienta analiza las trazas de las sesiones, agrupa los fallos (11 tipos, incluyendo alucinaciones, acciones incorrectas) e indica la causa raíz, ofreciendo correcciones prioritarias. Más allá de los fallos, AgentCore muestra la distribución de las intenciones del usuario y las estrategias reales del agente.

Amazon/AWSAmazon/AWS
AWS ML blog23.07 · 23:49
Noticias frescas