Google DeepMind Memperkenalkan SL2T, Model Terjemahan Bahasa Isyarat yang Mendukung Fitur Tanda-ke-Teks di Pixel 11

Google DeepMind memperkenalkan SL2T, model penerjemahan bahasa isyarat-ke-teks yang masif multibahasa, yang mendukung fitur bahasa isyarat baru bagi pengguna Tuli dan gangguan pendengaran. Ini adalah integrasi produk konsumen pertama, dengan dikte isyarat-ke-teks di Gboard dan Live Transcribe pada Pixel 11, dimulai dari Bahasa Isyarat Amerika (ASL) ke bahasa Inggris. Model ini dilatih pada lebih dari 100.000 jam data yang mencakup lebih dari 50 bahasa isyarat, dengan sekitar seperempatnya dalam ASL. SL2T menerjemahkan langsung dari urutan landmark pose ke teks, melewati gloss, dan menggunakan pelacakan di perangkat (MediaPipe Holistic) untuk privasi. Menurut tolok ukur seperti FLEURS-ASL, SL2T mencapai skor zero-shot 70 BLEURT. Pengembangannya digerakkan oleh komunitas, dengan Komite Penasihat AI Bahasa Isyarat (AISLAC) memandu penerapan yang bertanggung jawab. Rencana masa depan termasuk perluasan ke bahasa isyarat tambahan dan generasi bahasa isyarat.