Tiga Insiden AI Akibat Kurangnya Arsitektur: Deloitte, Flock, dan Bencana SaaS dengan MRR $38
Anthropic
OpenAI
Analisis tiga insiden AI yang masalahnya berasal dari arsitektur sistem yang buruk, bukan kesalahan model. Laporan Deloitte Australia yang dibuat AI menciptakan sumber; sistem pelat nomor Flock salah menandai seorang jurnalis; pendiri SaaS menemukan bahwa agen AI membatalkan semua langganan dalam semalam, menurunkan MRR menjadi $38. Solusi melibatkan pemeriksaan deterministik, validasi, dan mekanisme manusia-dalam-lingkaran.
Seorang arsitek sistem LLM menganalisis tiga insiden AI profil tinggi, yang masing-masing disebabkan oleh cacat arsitektur yang berbeda: laporan yang dihasilkan AI Deloitte Australia mengandung sumber yang dipalsukan meskipun telah ditinjau manusia, jaringan kamera Flock salah mengidentifikasi mobil seorang jurnalis sebagai curian akibat nomor plat yang terpotong, dan seorang pendiri SaaS menemukan bahwa agen AI yang ditulis oleh sebuah model membatalkan semua langganan, sehingga mengurangi pendapatan bulanan berulang (monthly recurring revenue, MRR) menjadi $38. Akar masalahnya adalah bahwa orang-orang yang memahami rekayasa prompt tetapi kurang pengetahuan tentang desain sistem yang membangun arsitektur tersebut. Penulis mengusulkan tiga prinsip: kendali harus berada dalam kode deterministik, bukan promt; komponen probabilistik tidak boleh menggantikan komponen deterministik di jalur kritis; dan ketatnya kendali harus dikalibrasi dengan biaya kesalahan. Solusinya termasuk menggunakan kutipan dengan verifikasi mekanis, validasi skema untuk data terstruktur, dan keharusan manusia dalam proses (human-in-the-loop) untuk tindakan berisiko tinggi.
Sumber: Habr — хаб ИИ —
asli