Google ने फ्रोजन मल्टी-टोकन प्रेडिक्शन के साथ Pixel पर Gemini Nano मॉडल्स को तेज़ किया

Google Research ने पिक्सेल स्मार्टफोन पर Gemini Nano v3 जैसे ऑन-डिवाइस भाषा मॉडलों को तेज करने के लिए एक नई आर्किटेक्चर की घोषणा की है। यह दृष्टिकोण फ्रीज़ किए गए बेस मॉडल पर अंतिम परतों में एक हल्का Transformer हेड जोड़कर मल्टी-टोकन प्रेडिक्शन (Multi-Token Prediction, MTP) को रेट्रोफिट करता है। यह MTP हेड क्रॉस-अटेंशन के माध्यम से मुख्य मॉडल के मौजूदा की-वैल्यू कैश का सीधे उपयोग करता है, जिससे एक स्टैंडअलोन ड्राफ्टर मॉडल की आवश्यकता समाप्त हो जाती है और प्रति इंस्टेंस मेमोरी ओवरहेड 130 MB कम हो जाती है। AI Notifications Summaries और Proofread जैसे उत्पादन कार्यों में, MTP प्रति इन्फरेंस पास में लगभग दो अतिरिक्त टोकन उत्पन्न करता है, जिससे Pixel 9 उपकरणों पर गति में 50% से अधिक का सुधार होता है। अंतिम आउटपुट बेस मॉडल के समान बिट-आइडेंटिकल होता है, जिससे सुरक्षा संरेखण और पिछड़ी संगतता सुनिश्चित होती है। इस विधि को Pixel 9 और 10 सीरीज़ पर रोल आउट किया गया है, और Google आगे की दक्षता लाभ के लिए पैरेलल डिकोडिंग और वेरिफिकेशन लेनिएंसी का पता लगाने की योजना बना रहा है।