Google DeepMind 推出 SL2T，手语翻译模型为 Pixel 11 提供手语转文字支持

Google DeepMind推出了SL2T，这是一个大规模多语言的“手语转文本”翻译模型，为聋人和重听用户提供新的手语功能。这是首个消费者产品集成，在Gboard和Pixel 11上的实时转录中实现了手语转文本输入，首先支持美国手语（ASL）转英语。该模型在超过50种手语的10万多个小时数据上进行了训练，其中约四分之一为美国手语。SL2T直接从姿势关键点序列翻译为文本，绕过了注释，并使用设备端跟踪（MediaPipe Holistic）以保证隐私。根据FLEURS-ASL等基准测试，SL2T的零样本得分为70 BLEURT。该开发由社区驱动，人工智能手语咨询委员会（AISLAC）指导了负责任部署。未来计划包括扩展到更多手语以及手语生成。