字节跳动讨论训练超过5万亿参数模型；张一鸣表示不用蒸馏，不要被编码等短期趋势左右

据内部消息人士透露，字节跳动正在讨论训练一个参数超过5万亿的先进人工智能模型。公司创始人张一鸣表示，他们不会使用蒸馏技术——一种较小的模型从较大的模型中学习的技术，并建议大家不要被该领域的短期趋势所分散注意力，比如当前对编码的关注。此举表明字节跳动志在人工智能发展的前沿展开竞争，即使它面临来自中国其他科技巨头的竞争。该消息由新浪财经报道，引用了公司内部的对话。