바이트댄스, 중국 최대 AI 모델 구축

파이낸셜타임스(Financial Times)에 따르면 ByteDance는 최대 10조 개의 파라미터를 갖춘 AI 모델을 훈련 중이며, 이는 중국에서 가장 큰 규모다. 이는 기존 중국 최대 모델이었던 Moonshot의 Kimi K3보다 세 배 크며, 업계에서 약 8조 개 파라미터로 추정하는 Anthropic의 Mythos 5에 근접하는 수준이다. 다만 Anthropic은 공식 수치를 공개하지 않았다. FT에 정보를 제공한 세 명의 관계자는 이 모델이 사전 훈련(pre-training) 단계에 있으며, 이 단계는 보통 3~6개월 정도 소요된다고 밝혔다. 파라미터 수는 모델이 저장할 수 있는 정보량을 결정하지만, 성능은 데이터 품질과 훈련 방법에도 좌우된다. 한 관계자는 ByteDance가 1년 넘게 다른 모델의 출력물을 활용해 미세조정하는 방식인 증류(distillation)를 자제해 왔다고 전했다. 창업자 장이밍(Zhang Yiming)은 2,000명 규모의 Seed 팀에 장기적으로 세계 최고 수준의 모델 역량을 추구하라고 촉구했다. 한편 일론 머스크(Elon Musk)의 xAI는 자사의 Colossus 2 클러스터에서 6조 및 10조 파라미터 규모의 Grok 변형 모델을 훈련 중인 것으로 알려졌다.