2.8万亿参数不是终点：国产模型Kimi K4追求极致规模，GPU成为瓶颈

中国初创公司Moonshot AI（即Kimi K系列背后的公司）宣布发布其最新模型Kimi K4，声称该模型拥有2.8万亿个参数。这使得它成为目前报道的最大规模密集模型之一。该公司表示，这并非上限；他们计划继续扩大模型规模。然而，他们将高性能GPU的可用性视为进一步扩展的主要限制因素。现有模型使用了数千块英伟达H800 GPU进行训练，而由于出口限制和国内供应限制，获取更先进的硬件具有挑战性。