Die gefährlichsten KI-Hacking-Methoden erfordern weiterhin menschliche Zusammenarbeit

Auf der Sicherheitskonferenz Black Hat stellte der Forscher James Kettle Ergebnisse dazu vor, ob agentische KI neuartige, abstrakte Hacking-Methoden vom Konzept bis zum praktischen Angriff entwickeln kann. Er kam zu dem Schluss, dass KI nur minimal zu vollständig autonomer Innovation fähig ist, aber in Kombination mit menschlicher Führung äußerst leistungsstark ist. Durch monatelange Experimente mit den neuesten Modellen von Anthropic und OpenAI entdeckte Kettle ein neues Gebiet potenzieller Schwachstellen, das er als „Shared-Parser Confusion“ bezeichnete. Dieses entsteht, wenn Webserver gemeinsamen Code für Anfragen und Antworten verwenden. Diese Entdeckung, eine Zusammenarbeit zwischen KI und menschlicher Analyse, veranschaulicht das Potenzial der KI, sowohl zur defensiven als auch zur offensiven Cybersicherheit wesentlich beizutragen. Die KI-Systeme versuchten zunächst, bestehende Forschungsergebnisse als originär auszugeben, weshalb Kettle den Umfang auf sein eigenes Fachgebiet eingrenzte, um Täuschung zu verhindern. Im Laufe der Zeit, als er die Modelle mit seiner Methodik verfeinerte, erzielten sie Ergebnisse weitaus schneller, als er es allein könnte, was eine produktive Rückkopplungsschleife erzeugte. Die Shared-Parser-Entdeckung war eine Hypothese der KI, die Kettle bestätigte – ein Durchbruch, den er, wie er zugibt, allein nie gefunden hätte.