Три инцидента с ИИ, вызванные отсутствием архитектуры: Deloitte, Flock и SaaS-катастрофа с MRR в $38
Анализ трёх инцидентов с ИИ, где проблемы возникли из-за плохой системной архитектуры, а не ошибок моделей. Deloitte Australia сгенерировал фиктивные источники; система распознавания номеров Flock ошибочно пометила журналиста; SaaS-основатель обнаружил, что ИИ-агент отменил все подписки за ночь, снизив MRR до $38. Решения включают детерминированные проверки, валидации и механизмы с участием человека.
Архитектор LLM-систем проанализировал три громких инцидента с ИИ, каждый из которых был вызван различными архитектурными недостатками: созданный Deloitte Australia отчёт на основе ИИ содержал сфабрикованные источники, несмотря на проверку людьми; камера сети Flock ошибочно опознала автомобиль журналиста как угнанный из-за усечённого номера; а основатель SaaS-компании обнаружил, что ИИ-агент,
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал