Sber, AI 응답 오류 탐지용 SIRIN 라이브러리 공개

Sberbank의 실용 인공지능 센터 연구진이 SIRIN(Semantic Inconsistency Recognition and Inspection Nexus) 라이브러리를 오픈소스로 공개했습니다. SIRIN은 AI 에이전트와 언어 모델의 신뢰성을 높이기 위해, 모델이 만들어낸 사실이나 출처 데이터로 뒷받침되지 않는 내용을 식별하는 데 도움을 줍니다. 이 라이브러리는 다양한 응답 검증 방법을 통합하여 개발자가 자신의 작업에 가장 적합한 접근 방식을 비교, 결합, 선택할 수 있게 합니다. 전체 응답 또는 개별 텍스트 조각을 확인할 수 있으며, 모델이 오류를 범할 수 있는 부분을 지적합니다. 또한 SIRIN은 AI 에이전트가 답변하기에 충분한 정보를 갖추었는지 사전에 평가하여, 추가 데이터를 요청하거나 답변을 거부함으로써 오류를 예방하는 데 도움을 줍니다. 이 라이브러리는 Sber의 환각 탐지 연구, 특히 단 250개의 훈련 예제만으로 오류 탐지 정확도를 약 30% 향상시키는 메타모델 연구에 기반을 두고 있습니다. Sberbank의 선임 상무이사이자 AI 전환 책임자인 Sergey Ryabov는 이 접근 방식이 내부적으로 효과적임이 입증되었으며, 이제 모든 기업이 시장 발전을 위해 사용할 수 있게 되었다고 언급했습니다. 개발자는 몇 분 안에 SIRIN을 자신의 어시스턴트에 통합할 수 있으며, 대규모 언어 모델을 도입하는 기업뿐만 아니라 AI 어시스턴트, RAG 시스템, AI 에이전트 개발자에게도 유용합니다. 라이브러리는 GitVerse, GitHub에서 이용할 수 있으며, Hugging Face에서 웹 데모도 제공됩니다.