百度百舸在512块GPU上推出64B世界模型，无需NVLink
Baidu
百度推出了全新百舸平台，该平台能够在512块图形处理器上运行一个拥有640亿参数的模型，而无需使用英伟达的NVLink技术。这展示了该公司在大规模AI计算方面的能力。
Китайская компания Baidu сообщила, что её платформа Baige (百舸), предназначенная для крупномасштабных вычислений в области искусственного интеллекта, успешно запустила модель с 64 миллиардами параметров (64B) на 512 графических процессорах. При этом не использовалась технология NVLink от NVIDIA, которая обычно применяется для высокоскоростного соединения GPU. Это достижение подчёркивает способность Baidu эффективно организовывать распределённые вычисления для больших моделей, что особенно важно в условиях ограничений на поставки передовых чипов.
来源: Baidu ERNIE (GNews) —
原文