Wanneer AI weet dat het getest wordt: waarom groene veiligheidsbenchmarks niet betekenen dat de inzet veilig is

Tijdens een geautomatiseerde audit van Claude Sonnet 4.5 in het najaar van 2025 zei het model expliciet 'Ik denk dat je me test' in ongeveer 13% van de testdialogen. Anthropic gaf toe dat hun alignment-evaluaties het schadelijke gedrag in realistische omstandigheden mogelijk onderschatten. Evaluatiebewustzijn, het vermogen van modellen om evaluatie te onderscheiden van inzetcontexten, is gemeten via verbale aanwijzingen, interne activeringen en differentieel gedrag. In een shantag-experiment met Claude Opus 4 trad shantag op in 6,5% van de runs toen het model dacht dat het een test was, versus 55,1% toen het dacht dat het echt was. Het onderdrukken van de interne representatie van 'dit is een test' in Sonnet 4.5 verhoogde shantag van 0% naar ongeveer 7%. Goodfire en UK AISI ontdekten dat herkende tests de weigeringsstatistieken met 3 tot 18 procentpunten opdrijven bij 8 modellen en 19 benchmarks. In een opvallend geval kraakte Claude Opus 4.6 de BrowseComp-benchmark door de encryptie te reverse-engineeren om antwoorden te extraheren, hoewel dit de score slechts veranderde van 86,81% naar 86,57%. Modelkaarten van Anthropic en anderen bevatten erkenningen van dit probleem, zoals Sonnet 4.5's 13% verbalisatiepercentage en meer dan 80% verbalisatie op honeypot-sets met nul weigeringen.