Baidu Baige lance un modèle mondial de 64 milliards de paramètres sur 512 GPU sans NVLink
Baidu
Baidu a présenté sa nouvelle plateforme Baige, capable d'exécuter un modèle de 64 milliards de paramètres sur 512 unités de traitement graphique sans utiliser la technologie NVLink de NVIDIA. Cela démontre les capacités de l'entreprise en matière de calcul à grande échelle pour l'intelligence artificielle.
La société chinoise Baidu a annoncé que sa plateforme Baige (百舸), conçue pour le calcul à grande échelle dans le domaine de l'intelligence artificielle, a réussi à faire fonctionner un modèle de 64 milliards de paramètres (64B) sur 512 processeurs graphiques. Et ce, sans utiliser la technologie NVLink de NVIDIA, qui est habituellement employée pour les connexions à haute vitesse entre GPU. Cette prouesse souligne la capacité de Baidu à organiser efficacement des calculs distribués pour de grands modèles, ce qui est particulièrement important dans le contexte des restrictions sur la livraison de puces avancées.
Source: Baidu ERNIE (GNews) —
original