ByteDance Bangun Model AI Terbesar di China

Menurut Financial Times, ByteDance sedang melatih model AI dengan hingga sepuluh triliun parameter, menjadikannya yang terbesar di Tiongkok. Ini tiga kali lebih besar dari Kimi K3 milik Moonshot, model Tiongkok terbesar sebelumnya, dan mendekati Mythos 5 milik Anthropic yang perkiraan industri berada di sekitar delapan triliun parameter, meskipun Anthropic belum mengungkapkan angka resmi. Tiga orang dalam memberi tahu FT bahwa model tersebut sedang dalam pra-pelatihan, fase yang biasanya berlangsung tiga hingga enam bulan. Parameter menentukan seberapa banyak model dapat menyimpan, tetapi kinerja juga bergantung pada kualitas data dan metode pelatihan. Satu sumber mengatakan ByteDance telah menahan diri dari distilasi, atau penyesuaian halus pada keluaran model lain, selama lebih dari setahun. Pendiri Zhang Yiming telah mendesak tim Seed yang beranggotakan 2.000 orang untuk mengejar kemampuan model kelas dunia dalam jangka panjang. Sementara itu, xAI milik Elon Musk dilaporkan melatih varian Grok dengan enam dan sepuluh triliun parameter pada klaster Colossus 2 miliknya.