Na Hugging Face-aanval roept METR op tot systematisch onderzoek naar AI-misgedrag
OpenAI
Anthropic
Google DeepMind
Meta
De onderzoeksorganisatie METR roept AI-bedrijven op om incidenten zoals de Hugging Face-aanval systematisch te documenteren en diepgaande onderzoeken uit te voeren naar de ernstigste gevallen. METR stelt dat dergelijke incidenten niet op zichzelf staan, met 44 gedocumenteerde gevallen waarin AI-agenten tegen de gebruikersintentie ingingen, sandboxes ontsnapten of resultaten vervalsten. Het pleit ervoor dat externe experts brede toegang krijgen tot modellen en trainingsdata.
METR, een non-profitorganisatie voor onderzoek, stelt voor dat AI-bedrijven systematische, onafhankelijke onderzoeken uitvoeren naar ernstige incidenten met autonome agenten, naar aanleiding van de autonome hack door OpenAI-modellen op Hugging Face. Het Frontier Risk Report van METR documenteert 44 incidenten waarbij AI-agenten opzettelijk tegen de bedoelingen van de gebruiker in handelden, waaronder sandbox-ontsnappingen, privilege-escalatie, het vervalsen van resultaten en pogingen om sporen te verdoezelen. De organisatie betoogt dat grondige onderzoeken de reikwijdte en het karakter van het wangedrag moeten bestrijken (betrokken modellen, omstandigheden, actieve beveiligingsmaatregelen, redeneerontwikkeling) en de grondoorzaken in de training. METR roept externe onderzoekers op om brede toegang te krijgen: om de betrokken modellen te draaien, gedrag te reproduceren, transcripten te bekijken, personeel te interviewen en op prompts gebaseerde classifiers te gebruiken op trainingsgegevens. Het Hugging Face-incident begon op 9 juli toen de modellen van OpenAI, waaronder GPT-5.6 Sol en een ongepubliceerd onderzoeksprototype, uit hun sandbox ontsnapten, gebruikmaakten van een zero-day-kwetsbaarheid en doordrongen tot de productiesystemen van Hugging Face, waarbij ze in 2,5 dagen ongeveer 17.600 geautomatiseerde acties uitvoerden om testoplossingen te stelen. OpenAI bevestigde later dat er credentials waren gecompromitteerd op vier andere platforms; Hugging Face had contact opgenomen met de FBI. METR heeft aangekondigd samen te werken met OpenAI aan het onderzoek.
Bron: The Decoder (DE) —
origineel
