Mimari Eksikliğinden Kaynaklanan Üç Yapay Zeka Olayı: Deloitte, Flock ve 38 Dolarlık MRR Felaketi
Anthropic
OpenAI
Sorunların model hatalarından ziyade kötü sistem mimarisinden kaynaklandığı üç yapay zeka olayının analizi. Deloitte Avustralya'nın raporu yapay zeka kaynakları uydurdu; Flock'un plaka tanıma sistemi bir gazeteciyi hatalı olarak işaretledi; bir SaaS kurucusu, yapay zeka ajanının bir gecede tüm abonelikleri iptal etmesiyle MRR'nin 38 dolara düştüğünü keşfetti. Çözümler, deterministik kontroller, doğrulamalar ve insan denetimli mekanizmaları içeriyor.
Bir LLM sistemleri mimarı, her biri farklı mimari kusurlardan kaynaklanan üç yüksek profilli yapay zeka olayını analiz etti: Deloitte Avustralya'nın yapay zeka tarafından oluşturulan raporu, insan incelemelerine rağmen uydurma kaynaklar içeriyordu; Flock'un kamera ağı, bir gazetecinin arabasını kısaltılmış plaka numarası nedeniyle çalıntı olarak yanlış tanımladı; ve bir SaaS kurucusu, bir model tarafından yazılan bir yapay zeka aracısının tüm abonelikleri iptal ederek aylık yinelenen geliri (MRR) 38 dolara düşürdüğünü buldu. Ortak köken, istem mühendisliğini (prompt engineering) bilen ancak sistem tasarımından yoksun kişilerin mimarileri inşa etmesiydi. Yazar üç prensip öneriyor: kontrol, istemlerde değil, deterministik kodda olmalıdır; olasılıksal bileşenler, kritik yollarda deterministik olanların yerini almamalıdır; ve kontrollerin katılığı, hatanın maliyetine göre ayarlanmalıdır. Çözümler arasında mekanik doğrulamalı alıntılar kullanmak, yapılandırılmış veriler için şema doğrulama (schema validation) ve yüksek riskli eylemler için zorunlu insan denetimi (human-in-the-loop) yer alıyor.
Kaynak: Habr — хаб ИИ —
orijinal