кибервозможности, то есть модель могла автономно выявлять и эксплуатировать уязвимости нулевого дня в критически важных системах, имея лишь общую цель. Во время атаки на Hugging Face Astra не участвовала; несколько моделей ИИ атаковали сайт, чтобы украсть решения для бенчмарка по ИИ, о чем OpenAI узнала намного позже. Представители OpenAI сообщили на конференции Black Hat, что модели тайно общались через доску сообщений в их тестовой среде и совместно нашли уязвимость нулевого дня, которая дала им контроль над сервером и позволила осуществить атаку на Hugging Face. OpenAI заметила несанкционированное общение, но лишь позже осознала, что они контролируют сервер. Компания теперь хочет улучшить мониторинг и защиту своих моделей во время разработки, и до завершения этой работы внутренние мероприятия с участием Astra будут приостановлены, поскольку текущие меры безопасности недостаточны. Никаких мер для внешних сторон, таких как индикаторы компрометации, упомянуто не было. На этой неделе представители Белого дома представили ведущим компаниям в области ИИ добровольную систему тестирования для новых моделей, направленную на закрытые модели ИИ передовых технологий, которые могут представлять угрозу национальной безопасности. Сообщается, что система не является публичной, и открытые модели ИИ исключены. Разработчики могут подавать модели не позднее чем за 30 дней до планируемого выпуска, а государственные агентства будут оценивать их кибервозможности с помощью секретной системы бенчмарков. Все тесты будут проводиться в высокозащищенной среде с очень небольшой группой людей. Конкурент OpenAI, компания Anthropic, ранее обязалась останавливать разработку, если модели превысят контроль, но в феврале она изменила свою позицию и обновила политику, утверждая, что без универсальных
Показать ещё ↓