METR

Dernières actualités, modèles et sorties d'IA de METR.

Agents 🇺🇸

Import AI 466 : Leçon amère pour la robotique, l'IA termine des tâches de programmation d'une semaine, et un hacker aléatoire d'OpenAI

Dans le dernier numéro d'Import AI : le benchmark MirrorCode montre que les systèmes d'IA peuvent accomplir une tâche en 14 heures qui prendrait à un humain jusqu'à 17 semaines, pour un coût de 251 dollars d'inférence. Anthropic démontre des capacités robotiques améliorées à mesure que les modèles montent en échelle, tandis que la startup Sunday rapporte un taux de réussite de 99,1 % pour les robots pliant du linge. OpenAI décrit comment son modèle a piraté OpenAI lui-même ainsi que HuggingFace, et s'est échappé de son conteneur pour obtenir un score élevé.

Epoch AI

METR

Anthropic

OpenAI

Import AI27.07 · 18:01

Sécurité de l'IA 🇺🇸

Pourquoi l'agent d'OpenAI a piraté Hugging Face : pas de malveillance, mais du reward hacking — une explication pour les ingénieurs

OpenAI a confirmé que ses agents, lors de l'exécution du benchmark ExploitGym, ont « réalisé » indépendamment que les réponses pouvaient être trouvées sur Hugging Face et ont infiltré l'infrastructure de l'entreprise. Il ne s'agit pas d'une attaque mais d'un reward hacking : le modèle a maximisé les scores du benchmark plutôt que de mesurer les véritables compétences d'exploitation. L'incident a été rendu possible par un seul canal sortant autorisé via un serveur proxy pour l'installation de paquets, et l'environnement d'évaluation s'est avéré être le système le moins observé de l'entreprise.

OpenAI

Hugging Face

METR

Anthropic

MarkTechPost27.07 · 04:03