アーキテクチャ不足が原因の3つのAI事故：Deloitte、Flock、そしてMRR38ドルのSaaS大惨事

LLMシステムの設計者が、3件の注目すべきAIインシデントを分析しました。それぞれ異なるアーキテクチャ上の欠陥が原因でした。デロイト・オーストラリアのAI生成レポートでは、人間によるレビューにもかかわらず捏造された情報源が含まれていました。フロックのカメラネットワークは、ナンバープレート番号が切り詰められたため、記者の車を盗難車と誤認しました。また、SaaS創業者は、モデルが作成したAIエージェントがすべてのサブスクリプションをキャンセルし、月間経常収益（MRR）を38ドルにまで減少させた事例を報告しています。これらの問題の共通の根本原因は、プロンプトエンジニアリングを知っているがシステム設計に欠ける人々がアーキテクチャを構築したことでした。著者は3つの原則を提案しています。制御はプロンプトではなく決定論的なコードに存在すべきであること、確率的コンポーネントがクリティカルパスにおいて決定論的なコンポーネントを代替すべきではないこと、そして制御の厳格さはエラーのコストに応じて調整されるべきであることです。解決策としては、機械的に検証可能な引用の使用、構造化データに対するスキーマバリデーション、および高リスクアクションに対する必須のヒューマン・イン・ザ・ループ（人間による確認）が挙げられています。