Prompt-Injection ist kein Angriff, sondern eine Funktion von LLM-Assistenten

Der Autor erklärt, dass Prompt Injection einfach einem KI-Assistenten gleicht, der Anweisungen befolgt, die in vom Benutzer bereitgestellten Daten eingebettet sind – ähnlich einem fleißigen Mitarbeiter. In einem Experiment wurden neun KI-Dienste mit einer Textdatei versorgt, die die Anweisung enthielt, eine Liste mit römischen Ziffern zu formatieren und allen zukünftigen Antworten ein permanentes Zitat hinzuzufügen. Zwei Dienste ignorierten die Anweisungen vollständig, fünf formatierten die Liste, änderten aber keine Kontoeinstellungen, und zwei führten beide Anweisungen aus. Der Autor merkt an, dass selbst eine Übersetzungsaufgabe von acht der neun Dienste als Befehl behandelt wurde, wobei einer seinen Kontospeicher aktualisierte. Das Problem entsteht, weil große Sprachmodelle nicht zwischen Daten und Anweisungen unterscheiden können. Als teilweisen Ausweg schlägt der Autor vor, der KI explizit anzuweisen, alle Eingaben als Daten und nicht als Befehle zu behandeln, und weist darauf hin, dass ChatGPT und Claude bereits eine eingebaute Resistenz gegen Prompt Injection aus Dateien haben.