Cacat Fundamental Membuat LLM Rentan terhadap Serangan

Sebuah makalah yang dipresentasikan pada International Conference on Machine Learning oleh peneliti independen Charles Ye dan Jasmine Cui mengungkapkan kelemahan mendasar pada large language models yang membuat mereka rentan terhadap serangan. Kelemahan ini berkaitan dengan cara large language models mengidentifikasi siapa atau apa yang memberi mereka instruksi, sehingga memudahkan penyerang untuk menipu mereka melakukan hal-hal yang seharusnya tidak dilakukan, seperti memberikan instruksi untuk mensintesis kokain atau mensabotase sistem navigasi pesawat terbang. Para peneliti menemukan bahwa large language models mengidentifikasi peran teks bukan berdasarkan tag, melainkan berdasarkan gaya, sehingga penyerang dapat memalsukan peran. Mereka mendemonstrasikan serangan chain-of-thought forgery pada model dari OpenAI, Anthropic, Alibaba, dan DeepSeek. Para peneliti berpendapat bahwa masalah ini pada dasarnya tidak dapat dipecahkan, karena tidak ada jumlah pelatihan yang dapat mengatasinya sepenuhnya. Mereka memperingatkan bahwa large language models digunakan dalam sistem kritis tanpa studi fundamental yang memadai.