LLM 환각 현상: AI 모델이 존재하지 않는 패키지를 만들어내는 방법
OpenAI
Meta
DeepSeek
Mistral
새로운 연구에 따르면, 대규모 언어 모델(LLM)이 패키지 이름을 자주 환각하여 공급망 공격 위험을 초래합니다. 연구자들은 16개 모델을 테스트하여 576,000개의 코드 샘플을 생성했으며, 평균적으로 패키지 추천의 19.7%가 허구인 것으로 나타났습니다. 또한 완화 전략을 제안합니다.
'We Have a Package for You!' 연구는 코드 생성 LLM의 패키지 환각 현상을 분석했습니다. 연구진은 GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder 등을 포함한 16개 모델을 테스트하여 Python과 JavaScript용 코드 샘플 576,000개를 생성했습니다. 그 결과 440,445개의 추천(19.7%)이 환각으로 확인되었으며, 상용 모델은 최소 5.2%, 오픈 모델은 21.7%의 환각 비율을 보였습니다. 모델들은 최근 주제에 대해 더 환각을 일으킬 가능성이 높았으며, 더 낮은 온도 설정은 위험을 줄였지만 완전히 제거하지는 못했습니다. 연구는 또한 모델들이 자신의 환각을 반복하는 경향이 있으며, 대부분의 환각 이름이 실제 패키지의 단순한 오타가 아니라는 점을 발견했습니다. 이 연구는 USENIX Security 2025에서 Distinguished Paper Award를 수상했습니다.
출처: Habr — хаб ИИ —
원문