Google beschleunigt Gemini Nano auf Pixel mit eingefrorener Multi-Token-Vorhersage
Google/DeepMind
Google DeepMind
Google hat eine Methode vorgestellt, um Multi-Token-Vorhersage (MTP) nachträglich in eingefrorene Produktionsmodelle wie Gemini Nano v3 einzubauen, was eine schnellere On-Device-Inferenz auf Pixel 9 und 10 ermöglicht. Der MTP-Head wird an die letzten Schichten des Hauptmodells angehängt und nutzt dessen Hidden States und KV-Cache, um mehrere Token pro Inferenzdurchlauf zu erzeugen, ohne separate Drafting-Modelle. Dies erreicht Geschwindigkeitssteigerungen von 50 Prozent oder mehr und reduziert den Speicherverbrauch um 130 MB pro Instanz.
Google Research hat eine neue Architektur angekündigt, um geräteseitige Sprachmodelle wie Gemini Nano v3 auf Pixel-Smartphones zu beschleunigen. Der Ansatz rüstet Multi-Token Prediction (MTP) auf eingefrorene Basismodelle auf, indem ein leichtgewichtiger Transformer-Head an die letzten Schichten angehängt wird. Dieser MTP-Head nutzt direkt den vorhandenen Key-Value-Cache des Hauptmodells über Cross-Attention, wodurch ein separates Draft-Modell überflüssig wird und der Speicheraufwand um 130 Megabyte pro Instanz reduziert wird. In Produktionsaufgaben wie AI Notification Summaries und Proofread erzeugt MTP fast zwei zusätzliche Token pro Inferenzschritt, was auf Pixel-9-Geräten zu Geschwindigkeitsverbesserungen von über 50 Prozent führt. Die endgültige Ausgabe ist bitidentisch mit dem Basismodell und gewährleistet so Safety Alignment und Abwärtskompatibilität. Die Methode wurde auf die Pixel-9- und Pixel-10-Serie ausgerollt, und Google plant, Paralleldekodierung sowie Nachsicht bei der Verifizierung zu untersuchen, um weitere Effizienzsteigerungen zu erzielen.
Quelle: Google Research —
Original