llama.cpp b10075 अपडेट: स्थानीय AI इंजन में चार सुधार

llama.cpp के हालिया अपडेट b10075 में स्थानीय AI इंजन में चार प्रमुख सुधार किए गए हैं। पहला, इसमें Llama 4 मॉडल परिवार के लिए समर्थन जोड़ा गया है, जिससे उपयोगकर्ता इन मॉडलों को स्थानीय रूप से चला सकते हैं। दूसरा, बेहतर KV कैश हैंडलिंग के माध्यम से मेमोरी उपयोग को अनुकूलित किया गया है, जिससे इनफरेंस के दौरान रैम की खपत कम होती है। तीसरा, इसमें एक नई स्पेक्युलेटिव डिकोडिंग सुविधा शामिल की गई है जो ड्राफ्ट मॉडल का उपयोग करके टेक्स्ट जनरेशन को गति देती है। अंत में, इसमें विभिन्न हार्डवेयर बैकएंड, जैसे AMD ROCm और Intel oneAPI, के साथ संगतता में सुधार किया गया है, जिससे GPU समर्थन का विस्तार हुआ है।