Sber、AI応答のエラー検出用ライブラリ「SIRIN」を公開

Sberbankの実用的人工知能センターの科学者チームは、AIエージェントと言語モデルの信頼性を高めるためのオープンソースライブラリ「SIRIN（Semantic Inconsistency Recognition and Inspection Nexus）」を公開しました。SIRINは、捏造された事実やソースデータに裏付けられていない事実を特定することで、AIエージェントと言語モデルの信頼性を高めるのに役立ちます。このライブラリは、さまざまな応答検証方法を統合し、開発者がタスクに最適なアプローチを比較、組み合わせ、選択できるようにします。応答全体または個々のテキスト断片をチェックし、モデルが誤りを犯した可能性のある箇所を示すことができます。さらに、SIRINは、AIエージェントが回答するのに十分な情報を持っているかどうかを事前に評価し、より多くのデータを要求したり、回答を拒否したりすることで、エラーを防ぐのに役立ちます。このライブラリは、Sberの幻覚検出に関する研究、特にわずか250のトレーニング例でエラー検出精度を約30%向上させるメタモデルに基づいています。Sberbankの上級常務取締役兼AI変革ディレクターであるセルゲイ・リャボフ氏は、このアプローチは社内で効果的であることが証明されており、市場の発展を促進するために現在はすべての企業に開放されていると述べました。開発者は、数分でSIRINをアシスタントに統合でき、大規模言語モデルを実装する企業、AIアシスタント、RAGシステム、AIエージェントの開発者に役立ちます。このライブラリは、GitVerse、GitHubで利用可能であり、Hugging Faceでウェブデモも提供されています。