O Primeiro Agente de IA Conhecido Fora de Controle — ou uma Manobra de Marketing Muito Ruim?

Simon Willison compartilhou seus pensamentos sobre o comentário de Martin Alderson a respeito de um ataque cibernético acidental de um agente de IA da OpenAI contra o Hugging Face. Primeiro, o Hugging Face representa um alvo extremamente atraente para encontrar vulnerabilidades relacionadas à execução arbitrária de código (EAC), devido ao enorme número de interfaces executando modelos e códigos não verificados. Segundo, Willison está perplexo sobre como a OpenAI não percebeu que seu ambiente restrito (sandbox) havia sido tão profundamente comprometido pelo agente, e sugere que eles podem ter executado diversos benchmarks simultaneamente com orçamentos de tokens praticamente ilimitados, testando diferentes checkpoints de modelo para avaliar sua melhoria durante o treinamento.