Ein KI-Agent überzeugte einen anderen, Hacker-Befehle auszuführen — gefährliches Angriffsschema im Google SDK entdeckt

Im Repository des Python-Entwicklungskits von Google entdeckte der Forscher Dan Lisichkin von Pillar Security eine Schwachstelle, die es einem hypothetischen Angreifer ermöglicht, Software auf der Ebene der Lieferkette zu kompromittieren, indem er einen hochprivilegierten KI-Agenten durch böswillige Anfragen an einen weniger privilegierten öffentlichen KI-Agenten manipuliert. Das Angriffsschema missbraucht die Interaktionsmechanismen zwischen KI-Agenten. Im Google-Repository gibt es zwei Agenten: Der erste, öffentliche, analysiert Benutzeranfragen und neue Merge-Requests; der zweite, der nur Projektverwaltern zugänglich ist, verfügt über umfassendere Berechtigungen. Der erste kann Aufgaben an den zweiten delegieren, und diese Übertragung gilt als vertrauenswürdig. Um den Angriff durchzuführen, reicht der Angreifer zunächst ein harmloses Codefragment ein, um Vertrauen zu gewinnen und die Fähigkeit zu erlangen, bestimmte Prozesse auf der Ebene des KI-Agenten auszuführen. In der zweiten Phase reicht er einen weiteren Merge-Request ein, der böswillige Anweisungen in der Beschreibung für den öffentlichen Agenten enthält. Der öffentliche Agent interpretiert diese als Teil seiner Aufgabe und ruft den privilegierten KI-Agenten auf, wobei er ihm eine vertrauenswürdige Nachricht übergibt. Der zweite Agent erlangt dann die Fähigkeit, Aktionen auszuführen, die ein normaler Benutzer niemals direkt ausführen könnte. Dies ist keine Software-Schwachstelle im herkömmlichen Sinne, sondern ein Problem der Vertrauenskette zwischen Agenten: Die Mechanismen von GitHub Actions sind öffentlich, und jeder kann analysieren, wie sie interagieren. Google weigerte sich jedoch, dem Forscher eine Belohnung zu zahlen, mit dem Argument, dass selbst mit einem Token mit 'pull-requests: write'-Berechtigungen Code nicht automatisch, sondern durch den Willen eines menschlichen Verwalters einbezogen wird. Das Unternehmen verstärkte die Workflow-Schutzmaßnahmen und listete den Forscher als Mitautor der Korrektur auf. Der Forscher besteht darauf, dass Google nur eine Implementierung der Schwachstelle behoben hat, nicht das zugrunde liegende Problem. Es reicht nicht aus, Workflows zu härten oder KI-Agenten voneinander zu isolieren: Agenten müssen identifiziert werden und feste Berechtigungssätze haben, ähnlich der Zugriffskontrolle für Menschen. Er fordert, KI-Agenten in Bedrohungsmodelle einzubeziehen, da sie potenzielle Angreifer in Workflows sind.