Uygulamalar 🇺🇸 12.08.2026 20:03

Google DeepMind SL2T'yi Tanıttı: Pixel 11'de İşaret Dili Metne Çeviri Modeli

Google DeepMind, işaret dilinden metne çeviri yapan SL2T modelini tanıttı ve Amerikan İşaret Dili'nden İngilizce'ye çeviri için Pixel 11 üzerindeki Gboard ve Live Transcribe uygulamalarına entegre etti. Model, 50'den fazla işaret dilinde 100.000 saatten fazla veriyle eğitildi ve FLEURS-ASL üzerinde sıfır atış BLEURT skoru 70'e ulaşıyor. Sağır topluluğuyla birlikte geliştirilen SL2T, poz landmarklarından metne çeviri yaparak gerçek dünya kullanımını destekliyor.

Google DeepMind, sağır ve işitme güçlüğü çeken kullanıcılar için yeni işaret dili özelliklerini destekleyen, büyük ölçüde çok dilli bir işaret dilinden metne çeviri modeli olan SL2T'yi tanıttı. Bu, Gboard ve Pixel 11'deki Canlı Transkripsiyon'da işaretten metne dikte özelliğiyle (Amerikan İşaret Dili'nden (ASL) İngilizce'ye başlanarak) tüketici ürününe ilk entegrasyonu. Model, yaklaşık dörtte biri ASL olmak üzere 50'den fazla işaret dilinde 100.000 saatin üzerinde veriyle eğitildi. SL2T, aracı dilden (gloss) atlayarak doğrudan pozlandırma noktası dizilerinden metne çeviri yapıyor ve gizlilik için cihaz üzerinde takip (MediaPipe Holistic) kullanıyor. FLEURS-ASL gibi kıyaslama testlerine göre SL2T, sıfır atış (zero-shot) puanı olarak 70 BLEURT elde ediyor. Geliştirme, sorumlu dağıtımı yönlendiren Yapay Zeka İşaret Dili Danışma Komitesi (AISLAC) ile topluluk odaklıydı. Gelecek planları arasında ek işaret dillerine genişletme ve işaret dili üretimi yer alıyor.

Kaynak: Google DeepMind — orijinal