Baidu Baige lance un modèle monde de 64B sur 512 cartes sans NVLink
Baidu
Baidu Baige a lancé un modèle monde de 64 milliards de paramètres fonctionnant sur 512 GPU sans nécessiter d'interconnexions NVLink. Cette réalisation met en avant les progrès dans l'entraînement distribué de l'IA.
Baidu Baige, une filiale de Baidu, a annoncé le lancement d'un modèle de monde à 64 milliards de paramètres. Le modèle a été entraîné et est déployé sur 512 cartes graphiques sans utiliser NVLink, qui relie généralement les GPU en clusters. Cela démontre les progrès de Baidu dans le calcul distribué à grande échelle et l'efficacité des modèles d'IA.
Source: Baidu ERNIE (GNews) —
original