字节跳动打造中国最大人工智能模型

据英国《金融时报》报道，字节跳动正在训练一个参数高达十万亿级别的人工智能模型，这使其成为中国最大的此类模型。该模型的规模是此前中国最大模型——月之暗面Kimi K3——的三倍，并接近Anthropic的Mythos 5，据行业估计后者约有八万亿参数，尽管Anthropic尚未公布官方数字。三位知情人士向《金融时报》透露，该模型正处于预训练阶段，这一阶段通常持续三到六个月。参数决定了一个模型能存储多少信息，但性能同样取决于数据质量和训练方法。一位消息人士表示，字节跳动已经一年多没有使用蒸馏技术，即利用其他模型的输出进行微调。创始人张一鸣已敦促约2000人的Seed团队长期追求世界领先的模型能力。与此同时，据报道，埃隆·马斯克的xAI正在其Colossus 2集群上训练参数为六万亿和十万亿的Grok变体。