ByteDance xây dựng mô hình AI lớn nhất Trung Quốc

Theo Financial Times, ByteDance đang huấn luyện một mô hình AI với quy mô lên tới mười nghìn tỷ tham số, trở thành mô hình lớn nhất tại Trung Quốc. Con số này lớn gấp ba lần Kimi K3 của Moonshot, mô hình Trung Quốc lớn nhất trước đó, và tiến gần đến Mythos 5 của Anthropic, mô hình mà các ước tính trong ngành cho rằng có khoảng tám nghìn tỷ tham số, mặc dù Anthropic chưa công bố số liệu chính thức. Ba nguồn tin nội bộ nói với Financial Times rằng mô hình này đang ở giai đoạn tiền huấn luyện (pre-training), một giai đoạn thường kéo dài từ ba đến sáu tháng. Số lượng tham số quyết định khả năng lưu trữ của mô hình, nhưng hiệu suất còn phụ thuộc vào chất lượng dữ liệu và phương pháp huấn luyện. Một nguồn tin cho biết ByteDance đã tránh sử dụng phương pháp chưng cất (distillation) – tức tinh chỉnh dựa trên đầu ra của các mô hình khác – trong hơn một năm qua. Nhà sáng lập Zhang Yiming đã kêu gọi đội ngũ Seed gồm 2.000 người theo đuổi mục tiêu dài hạn là đạt được năng lực mô hình dẫn đầu thế giới. Trong khi đó, Grok của Elon Musk tại xAI được cho là đang huấn luyện các phiên bản với sáu và mười nghìn tỷ tham số trên cụm máy chủ Colossus 2.