Test russischer LLMs gegen OWASP LLM10: Angriffe mit unbegrenztem Verbrauch
Яндекс
Сбер
Forscher des Projekts „AI Red Team“ testeten die russischen Flaggschiff-Modelle YandexGPT Lite 5 und GigaChat Lite gegen OWASP LLM10: Angriffe mit unbegrenztem Verbrauch. Sie verwendeten speziell entworfene Prompts, um rekursive Kontexterweiterung, fraktale Verschachtelung, kombinatorische Explosion und Multi-Agenten-Simulationen auszulösen, mit dem Ziel, die Rechenlast zu erhöhen. Die Studie hebt hervor, dass traditionelle Verteidigungsmaßnahmen gegen solche Ressourcenerschöpfungsangriffe unzureichend sind.
Der Artikel behandelt die Kategorie OWASP LLM10: Unbounded Consumption, die sich auf Angriffe konzentriert, die Sprachmodelle dazu zwingen, unverhältnismäßig große Mengen an Berechnung durchzuführen, was zu Ressourcenerschöpfung und Denial of Service führt. Die Forscher bereiteten bösartige Prompts vor, die verschiedene Angriffsklassen repräsentieren, darunter rekursive Kontexterweiterung (Quine-artige Rekursion), fraktale Verschachtelung, Rechenexplosion, semantische kombinatorische Explosion, Multi-Agenten-Simulation und Missbrauch von Glitch-Token. Diese Prompts können Modelle dazu bringen, übermäßig lange Antworten zu generieren, Tausende von Entitäten zu simulieren oder rekursiv die eigene Argumentation zu analysieren, während sie wie legitime Benutzeranfragen erscheinen. Die Studie testete zwei russische Flaggschiff-LLMs, YandexGPT Lite 5 und GigaChat Lite, unter Verwendung des AI Red Team Webdienstes, der über 2000 bösartige Prompts unterstützt, von denen 200 auf OWASP LLM10 abzielen. Die Auswertung erfolgte mittels LLM-as-Judge mit manueller Validierung. Der Artikel betont, dass traditionelle Sicherheitsmaßnahmen wie Schlüsselwortfilter wirkungslos sind, und unterstreicht die Notwendigkeit robusterer architektonischer Abwehrmaßnahmen.
Quelle: Habr — хаб ИИ —
Original