Baidu Baige lança modelo mundial de 64B em 512 placas sem NVLink
Baidu
A Baidu Baige lançou um modelo mundial de 64 bilhões de parâmetros que opera em 512 GPUs sem exigir interconexões NVLink. Essa conquista destaca avanços no treinamento distribuído de IA.
A Baidu Baige, subsidiária da Baidu, anunciou o lançamento de um modelo mundial com 64 bilhões de parâmetros. O modelo foi treinado e é implantado em 512 placas gráficas sem o uso do NVLink, que normalmente conecta GPUs em clusters. Isso demonstra o progresso da Baidu em computação distribuída em larga escala e eficiência de modelos de inteligência artificial.
Fonte: Baidu ERNIE (GNews) —
original