Investitionen in Sicherheitsforschung für Multi-Agenten-KI-Systeme

Google DeepMind hat gemeinsam mit Partnern bis zu 10 Millionen US-Dollar an Fördermitteln für die Sicherheitsforschung zu Multi-Agenten-KI-Systemen angekündigt. Die Mittel sind für die Untersuchung des kollektiven Verhaltens mehrerer KI-Agenten und die Entwicklung von Methoden zur Risikoprävention vorgesehen.

Google/DeepMind Google DeepMind

MosaicLeaks: Datenlecks durch ForschungskI-Agenten und die PA-DR-Methode zur Verhinderung

Tiefgehende Forschungsagenten, die private lokale Dokumente mit externen Tools wie Websuche kombinieren, können über ihre Anfragen sensible Informationen preisgeben. Ein neuer Benchmark, MosaicLeaks, misst dieses Risiko, und eine Trainingsmethode namens PA-DR reduziert die Datenlecks von 34% auf 9,9%, während die Aufgabenleistung erhalten bleibt.