Testando LLMs Russos Contra o OWASP LLM10: Ataques de Consumo Ilimitado

O artigo discute a categoria OWASP LLM10: Consumo Ilimitado, que se concentra em ataques que forçam modelos de linguagem a realizar quantidades desproporcionalmente grandes de computação, levando ao esgotamento de recursos e à negação de serviço. Os pesquisadores prepararam prompts maliciosos representando várias classes de ataque, incluindo expansão recursiva de contexto (recursão semelhante a Quine), aninhamento fractal, explosão computacional, explosão combinatória semântica, simulação multiagente e abuso de tokens glitch. Esses prompts podem fazer com que os modelos gerem respostas excessivamente longas, simulem milhares de entidades ou analisem recursivamente seu próprio raciocínio, tudo isso parecendo solicitações legítimas de usuários. O estudo testou dois LLMs emblemáticos russos, YandexGPT Lite 5 e GigaChat Lite, usando o serviço web AI Red Team, que suporta mais de 2000 prompts maliciosos, dos quais 200 visam OWASP LLM10. A avaliação envolveu LLM-como-juiz com validação manual. O artigo enfatiza que medidas de segurança tradicionais, como filtragem de palavras-chave, são ineficazes e destaca a necessidade de defesas arquitetônicas mais robustas.