Sber, Yapay Zeka Yanıtlarındaki Hataları Tespit Etmek İçin SIRIN Kütüphanesine Erişim Açtı

Sberbank'ın Yapay Zeka Uygulama Merkezi'nden bilim insanları ekibi, SIRIN (Anlamsal Tutarsızlık Tanıma ve İnceleme Bağlantısı) kütüphanesini açık kaynak olarak yayınladı. SIRIN, yapay zeka ajanlarını ve dil modellerini, uydurulmuş veya kaynak verilerle desteklenmeyen gerçekleri tespit ederek daha güvenilir hale getirmeye yardımcı olur. Kütüphane, çeşitli yanıt doğrulama yöntemlerini birleştirir; geliştiricilerin bunları karşılaştırmasına, birleştirmesine ve görevleri için en uygun yaklaşımı seçmesine olanak tanır. Tüm yanıtları veya tek tek metin parçalarını kontrol edebilir ve modelin hata yapmış olabileceği yerleri belirtebilir. Ayrıca SIRIN, yapay zeka ajanının yanıt vermek için yeterli bilgiye sahip olup olmadığını önceden değerlendirebilir; böylece daha fazla veri isteyerek veya yanıt vermeyi reddederek hataların önlenmesine yardımcı olur. Kütüphane, Sber'in halüsinasyon tespiti üzerine yaptığı araştırmalara, özellikle de yalnızca 250 eğitim örneği kullanarak hata tespit doğruluğunu yaklaşık %30 artıran meta modellere dayanmaktadır. Sberbank'ın Kıdemli Yönetici Direktörü ve Yapay Zeka Dönüşümü Direktörü Sergey Ryabov, yaklaşımın dahili olarak etkili olduğunu kanıtladığını ve pazarın gelişimini teşvik etmek için artık tüm şirketlere açık olduğunu belirtti. Geliştiriciler SIRIN'i asistanlarına dakikalar içinde entegre edebilir; bu, büyük dil modellerini uygulayan işletmeler ile yapay zeka asistanları, RAG sistemleri ve yapay zeka ajanları geliştirenler için faydalıdır. Kütüphane GitVerse, GitHub üzerinde ve Hugging Face'te bir web demosu ile mevcuttur.