Baidu Baige запускает 64-миллиардную мировую модель на 512 картах без NVLink
Baidu
Компания Baidu Baige запустила мировую модель с 64 миллиардами параметров, которая работает на 512 графических процессорах без использования межсоединений NVLink. Это достижение подчёркивает прогресс в области распределённого обучения искусственного интеллекта.
子公司百度百舸（Baidu Baige）宣布推出一个640亿参数的世界模型。该模型在512张显卡上完成训练和部署，且未使用通常用于连接GPU集群的NVLink技术。这展示了百度在大规模分布式计算和AI模型效率方面的进展。
Источник: Baidu ERNIE (GNews) —
оригинал