Модель не виновата: разбор трёх громких ИИ-инцидентов из-за отсутствия архитектуры
Anthropic
OpenAI
Автор анализирует три ИИ-инцидента: Deloitte Australia опубликовал отчёт с выдуманными источниками, система Flock привела к задержанию журналиста из-за ошибки распознавания номера, а автономный агент удалил подписки клиентов. Во всех случаях ошибка оказалась не в модели, а в архитектуре системы вокруг неё.
Автор, проектирующий системы на базе LLM, разбирает три инцидента. Первый: Deloitte Australia использовал ИИ для отчёта правительству, часть сносок оказалась несуществующей или приписанной не тем авторам, несмотря на внутренние ревью. Причина в том, что проверка полагалась на беглость текста, а не на механическую верификацию источников. Второй: в Миннесоте полиция с помощью сети камер Flock
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
- SaaS = Software as a Service — программное обеспечение как услуга
- API = Application Programming Interface — интерфейс программирования приложений
- MRR = Monthly Recurring Revenue — месячная регулярная выручка
- X = Twitter (social network) — социальная сеть Twitter
Источник: Habr — хаб ИИ —
оригинал