Sber Membuka Akses ke Pustaka SIRIN untuk Mendeteksi Kesalahan pada Respons AI

Tim ilmuwan dari Pusat Kecerdasan Artifisial Praktis Sberbank telah menerbitkan pustaka SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) sebagai sumber terbuka. SIRIN membantu membuat agen AI dan model bahasa lebih andal dengan mengidentifikasi fakta yang dibuat-buat atau tidak didukung oleh data sumber. Pustaka ini menggabungkan berbagai metode verifikasi respons, memungkinkan pengembang untuk membandingkan, menggabungkan, dan memilih pendekatan yang paling sesuai untuk tugas mereka. Pustaka ini dapat memeriksa seluruh respons atau fragmen teks individual dan menunjukkan di mana model mungkin melakukan kesalahan. Selain itu, SIRIN dapat menilai secara awal apakah agen AI memiliki informasi yang cukup untuk menjawab, membantu mencegah kesalahan dengan meminta lebih banyak data atau menolak untuk menjawab. Pustaka ini didasarkan pada penelitian Sber dalam deteksi halusinasi, terutama metamodel yang meningkatkan akurasi deteksi kesalahan hampir 30% hanya dengan menggunakan 250 contoh pelatihan. Sergey Ryabov, Managing Director Senior dan Direktur Transformasi AI di Sberbank, mencatat bahwa pendekatan ini telah terbukti efektif secara internal dan sekarang terbuka untuk semua perusahaan untuk mendorong pengembangan pasar. Pengembang dapat mengintegrasikan SIRIN ke dalam asisten mereka dalam hitungan menit, dan ini berguna bagi bisnis yang menerapkan model bahasa besar, serta pengembang asisten AI, sistem RAG, dan agen AI. Pustaka ini tersedia di GitVerse, GitHub, dan demo web di Hugging Face.