Google DeepMind giới thiệu SL2T, mô hình dịch ngôn ngữ ký hiệu hỗ trợ tính năng ký hiệu thành văn bản trên Pixel 11

Google DeepMind đã giới thiệu SL2T, một mô hình dịch ngôn ngữ ký hiệu sang văn bản đa ngôn ngữ quy mô lớn, cung cấp năng lượng cho các tính năng ngôn ngữ ký hiệu mới dành cho người khiếm thính và khó nghe. Đây là sự tích hợp sản phẩm tiêu dùng đầu tiên, với tính năng đọc chính tả ký hiệu sang văn bản trong Gboard và Live Transcribe trên Pixel 11, bắt đầu với Ngôn ngữ ký hiệu Mỹ (ASL) sang tiếng Anh. Mô hình được đào tạo trên hơn 100.000 giờ dữ liệu của hơn 50 ngôn ngữ ký hiệu, với khoảng một phần tư là ASL. SL2T dịch trực tiếp từ chuỗi điểm mốc tư thế sang văn bản, bỏ qua gloss, và sử dụng theo dõi trên thiết bị (MediaPipe Holistic) để bảo vệ quyền riêng tư. Theo các bài đánh giá như FLEURS-ASL, SL2T đạt điểm zero-shot là 70 BLEURT. Quá trình phát triển được thúc đẩy bởi cộng đồng, với Ủy ban Tư vấn Ngôn ngữ Ký hiệu AI (AISLAC) hướng dẫn việc triển khai có trách nhiệm. Các kế hoạch tương lai bao gồm mở rộng sang các ngôn ngữ ký hiệu khác và tạo sinh ngôn ngữ ký hiệu.