Галлюцинации LLM: как ИИ-модели выдумывают несуществующие пакеты
Новое исследование показывает, что большие языковые модели часто галлюцинируют названия пакетов, создавая риск атак на цепочку поставок. Исследователи протестировали 16 моделей, сгенерировав 576 000 образцов кода, и обнаружили, что в среднем 19,7% рекомендаций пакетов были вымышленными. Они также предлагают стратегии смягчения последствий.
Исследование «We Have a Package for You!» («У нас есть для вас пакет!») посвящено анализу «галлюцинаций» пакетов у больших языковых моделей (LLM, large language model), генерирующих код. Учёные протестировали 16 моделей, включая GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder и другие, сгенерировав 576 000 образцов кода для Python и JavaScript. Выяснилось, что 440 445 рекомендаций (19,7%)
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал