Глубокое погружение в DeepSeek-V3: как аппаратно-ориентированный совместный дизайн снижает стоимость обучения больших языковых моделей

Команда DeepSeek опубликовала новый технический отчет, посвященный проблемам масштабирования и отражению аппаратных ограничений в архитектурах ИИ. В работе, соавтором которой выступил CEO компании Вэньфэн Лян, подробно анализируется взаимосвязь между разработкой больших языковых моделей (LLM), их обучением и аппаратной инфраструктурой. DeepSeek-V3, обученный на кластере из 2048 NVIDIA H800 GPU, служит примером того, как синергия между дизайном модели и аппаратными особенностями позволяет преодолеть узкие места, связанные с пропускной способностью памяти, вычислительной эффективностью и межсоединениями. В отчете рассматриваются ключевые инновации DeepSeek-V3: архитектура DeepSeekMoE для разреженных вычислений, уменьшающая вычислительные затраты на порядок по сравнению с плотными моделями; многоголовое скрытое внимание (MLA), которое сжимает KV-кэш до 70 КБ на токен против 516 КБ у LLaMA-3.1 405B; и FP8-смешанное обучение, впервые примененное для крупномасштабной MoE-модели. Для повышения скорости инференса используется конвейерное перекрытие вычислений и коммуникации, а для снижения задержек при экспертной параллельности — низкоточная коммуникация LogFMT. Отдельное внимание уделено аппаратно-ориентированной маршрутизации с учетом узлов (node-aware routing), которая использует более высокую пропускную способность NVLink по сравнению с InfiniBand. В работе также предложены направления развития будущего аппаратного обеспечения: конвергенция масштабирования внутри узла (scale-up) и между узлами (scale-out), динамическое распределение пропускной способности и использование специализированных копроцессоров для управления сетевым трафиком.