Google 通过冻结多令牌预测加速 Pixel 上的 Gemini Nano 模型

Google 引入了一种方法，将多令牌预测（MTP）改造到冻结的生产模型（如 Gemini Nano v3）上，从而在 Pixel 9 和 Pixel 10 设备上实现更快的设备端推理。MTP 头部附加到主模型的最终层，利用其隐藏状态和 KV 缓存，在每次推理中生成多个令牌，无需单独的草稿模型，速度提升 50% 或更多，并且每个实例减少 130MB 内存消耗。

Google/DeepMind Google DeepMind

Hugging Face 与 Cerebras 联手，基于 Gemma 4 打造实时语音 AI

Hugging Face 和 Cerebras 推出了一款开源实时语音合成流水线，利用 Google DeepMind 的 Gemma 4 模型。该系统整合了 Nvidia 语音识别、Cerebras 推理和阿里巴巴语音合成，确保自然对话的最低延迟。开发者可以完全修改和扩展每个组件。

Hugging Face Cerebras Systems NVIDIA Google DeepMind Alibaba/Qwen