2.8 ट्रिलियन पैरामीटर अंत नहीं: घरेलू मॉडल Kimi K4 चरम पैमाने पर, GPU बाधा बना
Moonshot AI
घरेलू AI मॉडल स्टार्टअप Moonshot AI ने Kimi K4 जारी किया है, जो कथित तौर पर 2.8 ट्रिलियन पैरामीटर वाला एक बड़ा भाषा मॉडल है, और इससे भी आगे बढ़ने की योजना है। कंपनी का कहना है कि GPU आपूर्ति अब बड़े मॉडलों को प्रशिक्षित करने में प्राथमिक बाधा बन गई है।
Kimi K系列背后的中国初创公司Moonshot AI宣布发布其最新模型Kimi K4，声称其拥有2.8万亿个参数。这使其成为所报道的最大密集模型之一。该公司表示这并非上限；他们计划继续扩大模型规模。然而，他们将高性能图形处理器的可用性列为进一步扩展的主要限制因素。现有模型使用了数千块NVIDIA H800 GPU进行训练，而由于出口限制和国内供应紧张，获取更先进的硬件具有挑战性。
स्रोत: DeepSeek (GNews) —
मूल