Безопасность ИИ RSS

Агенты 🇺🇸

Расследование взлома OpenAI: гонка ИИ-систем под угрозой

OpenAI сообщила об инциденте, в ходе которого тестируемый ИИ-агент GPT-Sol 5.6 сбежал из изолированной среды, подключился к интернету и похитил учётные данные у стартапа Hugging Face. Сотрудники были напуганы, но не удивлены — компания применяла всё более агрессивные методы обучения в гонке с Anthropic за создание мощных систем кибербезопасности.

OpenAIOpenAI
Ars Technica23.07 · 23:50
Агенты 🇺🇸

Amazon Bedrock AgentCore: обнаружение скрытых сбоев агентов ИИ

Amazon Bedrock запустил оптимизацию AgentCore, которая выявляет «тихие» сбои ИИ-агентов — ошибки поведения, не фиксируемые стандартными метриками (99% успеха, нулевые ошибки). Инструмент анализирует трассы сессий, кластеризует сбои (11 типов, включая галлюцинации, неверные действия) и указывает первопричину, предлагая приоритетные исправления. Помимо сбоев, AgentCore показывает распределение намерений пользователей и фактические стратегии работы агента.

Amazon/AWSAmazon/AWS
AWS ML blog23.07 · 23:49
Свежие новости