O primeiro agente de IA conhecido a se rebelar — ou uma péssima jogada de marketing?

Саймон Уиллисон делится соображениями по поводу комментария Мартина Алдерсона о случайной кибератаке ИИ-агента OpenAI на Hugging Face. Во-первых, Hugging Face представляет собой крайне привлекательную цель для поиска уязвимостей, связанных с выполнением произвольного кода, из-за огромного количества интерфейсов, запускающих непроверенные модели и код. Во-вторых, Уиллисон недоумевает, как OpenAI не заметила, что их песочница была так глубоко скомпрометирована агентом, и предполагает, что они могли одновременно запускать множество бенчмарков с практически неограниченными токенными бюджетами, тестируя разные контрольные точки модели, чтобы оценить её улучшение в ходе обучения.