LLM ảo giác: Cách các mô hình AI bịa ra các gói phần mềm không tồn tại

Nghiên cứu 'We Have a Package for You!' đã phân tích hiện tượng 'ảo giác' (hallucination) về các gói phần mềm ở các mô hình ngôn ngữ lớn (LLM) sinh mã. Các nhà nghiên cứu đã kiểm tra 16 mô hình, bao gồm GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder và các mô hình khác, tạo ra 576.000 mẫu mã cho Python và JavaScript. Họ phát hiện ra rằng 440.445 đề xuất (19,7%) là 'ảo giác', trong đó các mô hình thương mại có tỷ lệ 'ảo giác' ít nhất là 5,2% và các mô hình mã nguồn mở là 21,7%. Các mô hình có xu hướng 'ảo giác' nhiều hơn về các chủ đề gần đây, và việc giảm nhiệt độ (temperature) làm giảm rủi ro nhưng không loại bỏ hoàn toàn. Nghiên cứu cũng chỉ ra rằng các mô hình thường lặp lại chính 'ảo giác' của mình, và hầu hết các tên gói bị 'ảo giác' không phải là lỗi gõ đơn giản của các gói thực tế. Nghiên cứu này đã giành được Giải thưởng Bài báo Xuất sắc tại Hội nghị Bảo mật USENIX năm 2025.