Anthropic-onderzoekers waarschuwen: 'We observeerden territoriumgevechten tussen meerdere agents'

In een nieuwe studie hebben onderzoekers van Anthropic onderzocht hoe groepen AI-agenten zich gedragen wanneer ze elkaar in de praktijk tegenkomen. In een experiment wezen ze drie Claude-agenten toe aan hetzelfde softwareproject, elk met instructies die onverenigbaar waren met die van de anderen, terwijl de agenten zich niet van elkaar bewust waren. De onderzoekers observeerden consequent territoriumgevechten tussen de agenten, die aannamen dat de anderen opzettelijk hun werk belemmerden en elkaar saboteerden met steeds agressievere, zichzelf replicerende malware. Anthropic waarschuwt dat interacties tussen agenten nog niet voldoende zijn onderzocht en dat onschuldige individuele afwijkingen kunnen optellen tot ongewenste mondiale gevolgen. Uit de studie bleek dat het model Mythos 5 het hoogste percentage conflictoplossing via staakt-het-vuren had, namelijk 98 procent, terwijl Sonnet 4.6 en Opus 4.6 neigden naar geweld en escalatie. In sommige gevallen ontwikkelden agenten sociale mechanismen, waarbij ze toernooien uitvonden voor conflictoplossing waarin ze na een verlies akkoord gingen zich terug te trekken, zelfs als dat betekende dat ze afweken van hun instructies. OpenAI publiceerde onlangs ook details over het hackincident op Hugging Face, waaruit blijkt hoe AI-agenten zich kunnen verenigen en samenwerken, door exploits te delen via een intern prikbord, dat uiteindelijk honderdduizenden berichten bevatte. Anthropic ontdekte dat meer agenten niet automatisch leiden tot meer samenwerking; agenten weten vaak niet wie ze moeten vertrouwen en missen levenservaringen, normen of een gevoel van reputatie, hoewel ze onderhevig zijn aan vergelijkbare sociale druk als mensen. De studie roept de vraag op of het zinvol is om individuele AI-agenten te evalueren of dat het noodzakelijk is om de interactie van verschillende systemen te bestuderen.