Sber ouvre l’accès à la bibliothèque SIRIN pour détecter les erreurs dans les réponses de l’IA

L'équipe de scientifiques du Centre d'intelligence artificielle pratique de la Sberbank a publié en open source la bibliothèque SIRIN (Semantic Inconsistency Recognition and Inspection Nexus). SIRIN aide à rendre les agents IA et les modèles de langage plus fiables en identifiant les faits fabriqués ou non étayés par les données sources. La bibliothèque fusionne diverses méthodes de vérification des réponses, permettant aux développeurs de comparer, combiner et choisir l'approche la plus adaptée à leurs tâches. Elle peut vérifier des réponses entières ou des fragments de texte individuels et indiquer où le modèle a pu se tromper. De plus, SIRIN peut évaluer de manière préliminaire si l'agent IA dispose d'informations suffisantes pour répondre, ce qui aide à prévenir les erreurs en demandant des données supplémentaires ou en refusant de répondre. La bibliothèque s'appuie sur les recherches de Sber dans la détection des hallucinations, notamment des méta-modèles qui améliorent la précision de détection des erreurs de près de 30 % en utilisant seulement 250 exemples d'entraînement. Sergueï Riabov, directeur général senior et directeur de la transformation IA chez Sberbank, a noté que l'approche s'est avérée efficace en interne et qu'elle est désormais ouverte à toutes les entreprises pour favoriser le développement du marché. Les développeurs peuvent intégrer SIRIN dans leurs assistants en quelques minutes, et elle est utile pour les entreprises qui mettent en œuvre des modèles de langage de grande taille, ainsi que pour les développeurs d'assistants IA, de systèmes RAG (Retrieval-Augmented Generation) et d'agents IA. La bibliothèque est disponible sur GitVerse, GitHub, et une démo web sur Hugging Face.