स्टार्टअप्स एलएलएम में अगली बड़ी चीज़ की तलाश में

2017 के एक Google पेपर में पेश किए गए ट्रांसफॉर्मर हर प्रमुख लार्ज लैंग्वेज मॉडल को शक्ति देते हैं, लेकिन उनका घना अटेंशन तंत्र कम्प्यूटेशनल रूप से महंगा है और लंबे संदर्भों के साथ संघर्ष करता है। स्टार्टअप इन कमियों से निपट रहे हैं: सबक्वाड्रैटिक का दावा है कि उसका स्पार्स अटेंशन मॉडल सबक्यू मुख्यधारा के एलएलएम के बराबर है; मेनिफेस्ट एआई अटेंशन को 'पावर रिटेंशन' से बदल देता है और उसने पावरकोडर और ब्रम्बी जारी किए हैं; लिक्विड एआई ट्रांसफॉर्मर को लिक्विड न्यूरल नेटवर्क के साथ जोड़कर हाइब्रिड एलएफएम (लिक्विड फाउंडेशन मॉडल) बनाता है जो छोटे और अधिक ऊर्जा-कुशल हैं; इंसेप्शन डिफ्यूजन का उपयोग करके एक साथ पूरे टेक्स्ट ब्लॉक उत्पन्न करता है, और इसका मर्करी 2 मॉडल GPT-4 से 10 गुना तेज होने का दावा किया जाता है; और पाथवे का 'ड्रैगन हैचलिंग' मॉडल सुडोकू पहेलियों में उत्कृष्ट है, जो भाषा से आगे बढ़ने का सुझाव देता है। ये स्टार्टअप एलएलएम के निर्माण के तरीके को बदलने का अवसर देखते हैं, जिसमें गति, दक्षता और क्षमता में महत्वपूर्ण लाभ की संभावना है।