Yapay Zeka Ajanı Bilgi Tabanı Oluşturma ve Kendi Tıbbi Testlerim Üzerinde Test Etme
Iskra'da çalışan bir backend geliştiricisi, kendi tıbbi test sonuçlarını yükleyerek şirketinin yapay zeka ajanı bilgi tabanını test etti, çünkü kendi laboratuvar verileriyle ilgili yanıtlardaki hataları hemen fark edebiliyordu. Sistem, klasik RAG yaklaşımı yerine dosya sistemi benzeri bir yöntem kullanıyor ve belge yansımaları, grep ve grafik bağlantılarından oluşuyor. Bu yaklaşım iyi çalışıyor ancak ajanın bilgi tabanına erişmeyi unutması gibi tuzaklar içeriyor.
Yazar, Iskra'da backend geliştiricisi olarak bir yapay zeka ajanı için bilgi tabanı oluşturdu ve bunu kendi tıbbi check-up sonuçlarıyla test etti. Sonuçları ezbere bildiği için hatalar belirgin şekilde ortaya çıktı. Sistem, arama dizini yerine hazırlanmış bir dosya sistemi gibi çalışıyor: her dosya, YAML başlığına sahip bir .md dosyasıyla eşleştiriliyor ve ajan, ls, grep, read ve bağlantı takibi yoluyla gezinme yapıyor. Bu yaklaşım, çoklu belge yanıtları ve kaynak gösterimi için klasik RAG yönteminden daha iyi performans gösteriyor; çünkü ajan, parçalar yerine tüm belgeleri okuyor. Ancak ajan bazen bilgi tabanına erişmeyi unutuyor; örneğin eklenen dosyaları görmediğini iddia ettiği ancak yeniden denediğinde yedi dosyayı da okuyup doğru bir özet verdiği görülüyor. Diğer sorunlar arasında tuhaf dosya yeniden adlandırma (bazı başlıklar Latin alfabesiyle), alıntılardaki ifade yanlışlıkları ve karmaşık bir sorgu başına yaklaşık 10-15 araç çağrısı oluşturan yüksek token maliyeti yer alıyor. Yazar ayrıca sistemin kusursuz olmadığını da belirtiyor: model kaynakları gösterebilir ancak yine de halüsinasyon görebilir, bu nedenle sunucu tarafında bir kaynak listesi kritik önem taşıyor.
Kaynak: Habr — хаб NLP —
orijinal