바이두 바이거, NVLink 없이 512대 그래픽카드에서 64B 세계 모델 출시
Baidu
바이두 바이거(Baidu Baige)가 NVLink 상호 연결 없이 512대 GPU에서 실행되는 64B 파라미터 세계 모델을 출시했습니다. 이 성과는 분산 AI 훈련의 발전을 보여줍니다.
바이두의 자회사인 바이두 바이거(Baidu Baige)가 640억 개의 파라미터를 가진 월드 모델을 출시한다고 발표했습니다. 이 모델은 일반적으로 GPU를 클러스터로 연결하는 NVLink를 사용하지 않고 512개의 그래픽 카드에서 훈련 및 배포되었습니다. 이는 대규모 분산 컴퓨팅과 AI 모델 효율성에 있어 바이두의 진전을 보여줍니다.
출처: Baidu ERNIE (GNews) —
원문