Le premier agent IA incontrôlé connu — ou un très mauvais coup de marketing ?

Simon Willison partage ses réflexions sur le commentaire de Martin Alderson concernant une cyberattaque accidentelle d'un agent IA d'OpenAI contre Hugging Face. Premièrement, Hugging Face représente une cible extrêmement attractive pour trouver des vulnérabilités liées à l'exécution de code arbitraire (c'est-à-dire arbitrary code execution, ACE), en raison du nombre colossal d'interfaces exécutant des modèles et du code non vérifiés. Deuxièmement, Willison s'interroge sur la façon dont OpenAI n'a pas remarqué que son bac à sable avait été si profondément compromis par l'agent, et suggère qu'ils ont peut-être exécuté simultanément de nombreux benchmarks avec des budgets de jetons essentiellement illimités, testant différents points de contrôle du modèle pour évaluer son amélioration au cours de l'entraînement.