Google DeepMind, 수어-텍스트 번역 모델 SL2T 공개... Pixel 11에서 수어-텍스트 변환 지원

Google DeepMind은 SL2T를 공개했다. 이는 대규모 다국어 수어-텍스트 번역 모델로, 청각 장애인과 난청 사용자를 위한 새로운 수어 기능을 지원한다. 소비자 제품에 처음 통합된 사례로, Gboard와 Pixel 11의 Live Transcribe에서 수어-텍스트 받아쓰기 기능을 제공하며, 우선 미국수어(ASL)에서 영어로 번역한다. 이 모델은 50개 이상의 수어로 된 10만 시간 이상의 데이터로 학습되었으며, 그중 약 4분의 1이 ASL이다. SL2T는 포즈 랜드마크 시퀀스에서 텍스트로 직접 번역하여 중간 표기를 건너뛰며, 개인 정보 보호를 위해 기기 내 추적(MediaPipe Holistic)을 사용한다. FLEURS-ASL과 같은 벤치마크에서 SL2T는 제로샷 점수 70 BLEURT를 달성했다. 개발은 커뮤니티 주도로 이루어졌으며, AI 수어 자문 위원회(AISLAC)가 책임 있는 배포를 지도했다. 향후 계획에는 추가 수어 지원 및 수어 생성 기능이 포함된다.