Google DeepMind introduceert SL2T, een gebarentaalvertaalmodel dat teken-naar-tekst op Pixel 11 mogelijk maakt

Google DeepMind heeft SL2T geïntroduceerd, een grootschalig meertalig model voor vertaling van gebarentaal naar tekst, dat nieuwe gebarentaal-functies mogelijk maakt voor dove en slechthorende gebruikers. Het is de eerste integratie in een consumentenproduct, met dicteren van gebaar naar tekst in Gboard en Live Transcribe op Pixel 11, te beginnen met Amerikaanse Gebarentaal (ASL) naar Engels. Het model is getraind op meer dan 100.000 uur aan data uit meer dan 50 gebarentalen, waarvan ongeveer een kwart in ASL. SL2T vertaalt direct van pose-herkenningssequenties naar tekst, zonder tussenkomst van glossen, en gebruikt on-device tracking (MediaPipe Holistic) voor privacy. Volgens benchmarks zoals FLEURS-ASL behaalt SL2T een zero-shot score van 70 BLEURT. De ontwikkeling was community-gedreven, waarbij het AI Sign Language Advisory Committee (AISLAC) richting gaf aan verantwoorde implementatie. Toekomstige plannen omvatten uitbreiding naar extra gebarentalen en generatie van gebarentaal.