Google DeepMind présente SL2T, un modèle de traduction en langue des signes qui alimente la conversion signe-texte sur le Pixel 11

Google DeepMind a présenté SL2T, un modèle de traduction de la langue des signes vers le texte massivement multilingue, qui alimente de nouvelles fonctionnalités de langue des signes pour les utilisateurs sourds et malentendants. Il s'agit de la première intégration dans un produit grand public, avec la dictée de la langue des signes vers le texte dans Gboard et Live Transcribe sur Pixel 11, en commençant par la langue des signes américaine (ASL) vers l'anglais. Le modèle est entraîné sur plus de 100 000 heures de données dans plus de 50 langues des signes, dont environ un quart en ASL. SL2T traduit directement des séquences de points de repère de pose en texte, en contournant les gloses, et utilise le suivi intégré (MediaPipe Holistic) pour préserver la confidentialité. Selon des références telles que FLEURS-ASL, SL2T obtient un score de 70 en BLEURT pour le scénario zéro-shot. Le développement a été mené de manière communautaire, avec le comité consultatif sur l'intelligence artificielle et la langue des signes (AISLAC) qui a orienté le déploiement responsable. Les projets futurs incluent l'extension à d'autres langues des signes et la génération de la langue des signes.