Model AI rentan terhadap 'overthinking' menciptakan kerentanan keamanan
DeepSeek
Alibaba/Qwen
OpenAI
Google/DeepMind
Peneliti dari Universitas Zhejiang dan Alibaba telah mendemonstrasikan metode untuk sengaja memicu 'overthinking' pada model AI penalaran dengan memberikan prompt yang tidak konsisten secara logis. Serangan prompt evolusioner ini dapat menghasilkan output hingga 26 kali lebih panjang, efektif berfungsi sebagai serangan denial-of-service pada layanan AI komersial.
Model bahasa besar (LLM) yang menggunakan penalaran langkah demi langkah rentan terhadap fenomena yang disebut 'overthinking', yaitu menghasilkan rangkaian penalaran yang sangat panjang. Peneliti dari Universitas Zhejiang dan Alibaba mengembangkan algoritma evolusioner yang merusak struktur logis dari prompt, sehingga model terjerumus ke dalam putaran penalaran yang sia-sia. Serangan ini efektif terhadap model dari DeepSeek (R1), Alibaba (Qwen3-Thinking), OpenAI (GPT-o3), dan Google (Gemini 2.5 Flash), menghasilkan output hingga 26,1 kali lebih panjang pada tolok ukur matematika. Pendekatan ini tidak memerlukan akses internal ke model dan dapat ditransfer antar model, sehingga meningkatkan kelayakannya. Namun, para peneliti menekankan bahwa tujuan mereka adalah untuk menyoroti kerentanan ini, bukan untuk mengembangkan serangan yang praktis, dan berharap penyedia akan mengembangkan mitigasi.
Sumber: IEEE Spectrum AI —
asli