Baidu Baige lanza un modelo mundial de 64B en 512 tarjetas sin NVLink
Baidu
Baidu Baige ha lanzado un modelo mundial de 64 mil millones de parámetros que se ejecuta en 512 GPU sin necesidad de interconexiones NVLink. Este logro destaca los avances en el entrenamiento distribuido de inteligencia artificial.
Baidu Baige, una filial de Baidu, anunció el lanzamiento de un modelo mundial de 64 mil millones de parámetros. El modelo fue entrenado y desplegado en 512 tarjetas gráficas sin utilizar NVLink, que normalmente conecta GPUs en clústeres. Esto demuestra el progreso de Baidu en computación distribuida a gran escala y eficiencia de modelos de inteligencia artificial.
Fuente: Baidu ERNIE (GNews) —
original