百度百舸发布64B世界模型,在512张无NVLink的显卡上运行
Baidu
百度百舸推出了一款64B参数的世界模型,该模型在512张GPU上运行,无需NVLink互连。这一成果凸显了分布式AI训练的进步。
百度旗下子公司百度百舸宣布推出一个640亿参数的世界模型。该模型在512张显卡上完成训练并部署,且未使用通常用于连接GPU集群的NVLink技术。这展示了百度在大规模分布式计算及AI模型效率方面的进展。
来源: Baidu ERNIE (GNews) —
原文
