Baidu Baige startet 64B-Weltmodell auf 512 Karten ohne NVLink
Baidu
Baidu Baige hat ein 64B-Parameter-Weltmodell gestartet, das auf 512 Grafikprozessoren ohne NVLink-Verbindungen läuft. Diese Errungenschaft unterstreicht Fortschritte im verteilten KI-Training.
Baidu Baige, eine Tochtergesellschaft von Baidu, hat die Einführung eines 64 Milliarden Parameter umfassenden Weltmodells angekündigt. Das Modell wurde auf 512 Grafikkarten trainiert und wird darauf betrieben, ohne NVLink zu verwenden, das normalerweise GPUs in Clustern verbindet. Dies zeigt Baidus Fortschritte im Bereich der groß angelegten verteilten Datenverarbeitung und der Effizienz von KI-Modellen.
Quelle: Baidu ERNIE (GNews) —
Original