Baidu Baige bringt 64B World Model auf 512 GPUs ohne NVLink zum Laufen
Baidu
Baidu hat seine neue Plattform Baige vorgestellt, die ein Modell mit 64 Milliarden Parametern auf 512 Grafikprozessoren ohne Verwendung von NVIDIA's NVLink-Technologie ausführen kann. Dies demonstriert die Fähigkeiten des Unternehmens im Bereich groß angelegter KI-Berechnung.
Das chinesische Unternehmen Baidu hat mitgeteilt, dass seine Plattform Baige (百舸), die für groß angelegte KI-Berechnungen konzipiert ist, erfolgreich ein Modell mit 64 Milliarden Parametern (64B) auf 512 Grafikprozessoren ausgeführt hat. Dabei kam keine NVLink-Technologie von NVIDIA zum Einsatz, die normalerweise für die schnelle Verbindung von GPUs verwendet wird. Diese Leistung unterstreicht Baidus Fähigkeit, verteilte Berechnungen für große Modelle effizient zu organisieren – was insbesondere angesichts von Beschränkungen bei der Lieferung fortschrittlicher Chips von Bedeutung ist.
Quelle: Baidu ERNIE (GNews) —
Original