Sber abre acesso à biblioteca SIRIN para detectar erros nas respostas de IA

A equipe de cientistas do Centro de Inteligência Artificial Prática do Sberbank publicou a biblioteca SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) como código aberto. O SIRIN ajuda a tornar agentes de IA e modelos de linguagem mais confiáveis, identificando fatos fabricados ou aqueles não suportados pelos dados de origem. A biblioteca integra vários métodos de verificação de resposta, permitindo que desenvolvedores comparem, combinem e escolham a abordagem mais adequada para suas tarefas. Ela pode verificar respostas inteiras ou fragmentos de texto individuais e indicar onde o modelo pode ter errado. Além disso, o SIRIN pode avaliar preliminarmente se o agente de IA tem informações suficientes para responder, ajudando a prevenir erros ao solicitar mais dados ou recusar responder. A biblioteca é baseada na pesquisa do Sber sobre detecção de alucinações, particularmente metamodelos que melhoram a precisão da detecção de erros em quase 30% usando apenas 250 exemplos de treinamento. Sergey Ryabov, Diretor Executivo Sênior e Diretor de Transformação de IA do Sberbank, observou que a abordagem se mostrou eficaz internamente e agora está aberta a todas as empresas para fomentar o desenvolvimento do mercado. Desenvolvedores podem integrar o SIRIN em seus assistentes em minutos, e ele é útil para empresas que implementam grandes modelos de linguagem, bem como para desenvolvedores de assistentes de IA, sistemas RAG e agentes de IA. A biblioteca está disponível no GitVerse, GitHub e em uma demonstração web no Hugging Face.