Google ускоряет модели Gemini Nano на Pixel с помощью замороженного множественного предсказания токенов

Google представил метод адаптации множественного предсказания токенов (MTP) к замороженным производственным моделям, таким как Gemini Nano v3, что позволяет ускорить локальный вывод на устройствах Pixel 9 и 10. Головка MTP подключается к конечным слоям основной модели, используя её скрытые состояния и KV-кэш для генерации нескольких токенов за один проход вывода без отдельных черновых моделей, достигая ускорения на 50% и более, а также снижая потребление памяти на 130 МБ на экземпляр.