Investeringen in veiligheidsonderzoek voor multi-agent AI-systemen

Google DeepMind heeft, in samenwerking met Schmidt Sciences, de Cooperative AI Foundation, het Advanced Research and Invention Agency (ARIA) en met steun van Google.org, een nieuwe competitie aangekondigd voor technisch onderzoek met een totaalbudget van maximaal 10 miljoen dollar voor wetenschappers wereldwijd. Naarmate AI-technologieën schalen, ontstaat er een nieuw tijdperk: miljoenen AI-agenten die zijn gecreëerd door verschillende organisaties zullen interageren in digitale omgevingen, communiceren, onderhandelen en transacties uitvoeren. Het is essentieel om de veiligheid en voorspelbaarheid van dergelijke interacties te waarborgen. De competitie heeft als doel het collectieve gedrag van grootschalige multi-agent systemen te bestuderen en kaders te creëren voor het begrijpen en beperken van potentiële risico's. Momenteel zijn er geen hulpmiddelen om opkomende effecten als gevolg van de interactie van autonome agenten te voorspellen, te meten of te monitoren. Hoewel er basisprincipes bestaan voor de veiligheid van multi-agent systemen, vereist de snelle evolutie een onmiddellijke uitbreiding van het onderzoek. De competitie ondersteunt wetenschappelijke programma's van Schmidt Sciences en ARIA en nodigt onderzoekers uit om voorstellen in te dienen in vier prioriteitsgebieden: sandboxes en testbeds, agent-netwerkwetenschap, versterking van agent-infrastructuur, en toezicht en controle. De deadline voor indiening is 8 augustus 2026, met winnaars die in het najaar van 2026 worden bekendgemaakt.