Investitionen in Sicherheitsforschung für Multi-Agenten-KI-Systeme

Google DeepMind hat in Zusammenarbeit mit Schmidt Sciences, der Cooperative AI Foundation, der Advanced Research and Invention Agency (ARIA) und mit Unterstützung von Google.org einen neuen Wettbewerb für technische Forschung mit einem Gesamtbudget von bis zu 10 Millionen US-Dollar für Wissenschaftler weltweit angekündigt. Mit der Skalierung von KI-Technologien entsteht eine neue Ära: Millionen von KI-Agenten, die von verschiedenen Organisationen entwickelt wurden, werden in digitalen Umgebungen interagieren, kommunizieren, verhandeln und Transaktionen durchführen. Es ist entscheidend, die Sicherheit und Vorhersagbarkeit solcher Interaktionen zu gewährleisten. Der Wettbewerb zielt darauf ab, das kollektive Verhalten großer Multi-Agenten-Systeme zu untersuchen und Rahmenwerke zu schaffen, um potenzielle Risiken zu verstehen und zu mindern. Derzeit gibt es keine Werkzeuge zur Vorhersage, Messung oder Überwachung von emergenten Effekten, die aus der Interaktion autonomer Agenten entstehen. Obwohl grundlegende Grundlagen für die Sicherheit von Multi-Agenten-Systemen existieren, erfordert die schnelle Entwicklung eine sofortige Ausweitung der Forschung. Der Wettbewerb unterstützt wissenschaftliche Programme von Schmidt Sciences und ARIA und lädt Forscher ein, Vorschläge in vier Prioritätsbereichen einzureichen: Sandboxen und Testumgebungen, Agenten-Netzwerkwissenschaft, Stärkung der Agenteninfrastruktur sowie Überwachung und Kontrolle. Die Bewerbungsfrist endet am 8. August 2026, die Gewinner werden im Herbst 2026 bekannt gegeben.