Groq ने तीन सप्ताह में Llama-2 70B की इन्फ़रेंस परफ़ॉर्मेंस दोगुनी की
Meta
Groq
Groq कंपनी ने घोषणा की है कि उसने केवल तीन सप्ताह में Llama-2 70B मॉडल की इन्फ़रेंस परफ़ॉर्मेंस को दोगुना कर दिया है। यह सुधार हार्डवेयर और सॉफ़्टवेयर के अनुकूलन के माध्यम से प्राप्त किया गया है। अब सिस्टम प्रति सेकंड 1250 से अधिक टोकन प्रोसेस करता है।
ग्रोक, एक कंपनी जो एआई इन्फ्रेंस (अनुमान) हार्डवेयर और सॉफ्टवेयर में विशेषज्ञता रखती है, ने घोषणा की है कि उसने मेटा के लामा-2 70B बड़े भाषा मॉडल की इन्फ्रेंस (अनुमान) गति को केवल तीन सप्ताह में दोगुना कर दिया है। यह महत्वपूर्ण प्रदर्शन वृद्धि केवल सॉफ्टवेयर अनुकूलन के माध्यम से हासिल की गई है, बिना अंतर्निहित हार्डवेयर में किसी बदलाव के। कंपनी का कहना है कि ये सुधार उनके सॉफ्टवेयर स्टैक की क्षमता को प्रदर्शित करते हैं जो एआई मॉडल इन्फ्रेंस की दक्षता बढ़ा सकते हैं। यह विकास विशेष रूप से उन अनुप्रयोगों के लिए प्रासंगिक है जिन्हें बड़े एआई मॉडल के उच्च-गति प्रसंस्करण की आवश्यकता होती है।
स्रोत: Meta AI (GNews) —
मूल