Yapay zeka ajanı arızaları: paneller yeşil gösterirken ajanlar günlerce neden yalan söyler

Yapay zeka ajanları, geleneksel hizmetlerden farklı şekilde başarısız olur: çökmezler, ancak yavaşça bozulurlar, bu da standart çalışma süresi ve hata oranı metriklerini işe yaramaz hale getirir. Ajanlar her adımda belirleyici olmayan kararlar alır, bu nedenle başarısızlıklar nihai yanıtlardan ziyade akıl yürütme döngülerinde meydana gelir. Gözlemlenebilirlik sağlamak için ekipler, benzersiz bir izleme kimliği (trace ID) ile tüm akıl yürütme döngüsünü izlemeli, araç seçme doğruluğu ve hedef tamamlama oranı gibi ajan düzeyinde metrikler ölçmeli, bir yargıç olarak büyük dil modeli (LLM-as-judge) kullanarak bir örnek yanıtı değerlendirmeli, istemleri (prompt) Git'te sürümlemeli ve tedarikçi bağımlılığını önlemek için telemetriyi iki hedefe (örneğin, bulut sağlayıcısı ve özel araçlar) yazmalıdır. Bu uygulamalar, özel ajan gözlemlenebilirlik araçları olgunlaşmadan önce bile gereklidir.