Новый технический отчет DeepSeek-V3: как аппаратно-программный кодизайн позволяет обучать большие модели с низкой стоимостью
DeepSeek
NVIDIA
Alibaba/Qwen
Meta
Вышел новый 14-страничный технический отчет команды DeepSeek-V3, соавтором которого выступил генеральный директор DeepSeek Вэньфэн Лян. В документе анализируются проблемы масштабирования больших языковых моделей и роль аппаратной инфраструктуры, а также предлагаются решения на основе совместного проектирования моделей и оборудования для экономичного обучения и инференса.
Команда DeepSeek-V3 выпустила новый технический доклад, в котором соавтором указан гендиректор компании Вэньфэн Лян. 14-страничный документ посвящён проблемам масштабирования больших языковых моделей (LLM) и отражению аппаратных ограничений. В отличие от предыдущей публикации, описывавшей архитектуру V3, новый отчёт фокусируется на взаимосвязи между разработкой моделей и их аппаратным
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
- MLA = Multi-head Latent Attention — многоголовое латентное внимание
- KV = Key-Value — ключ-значение
- MoE = Mixture of Experts — смесь экспертов
- FP8 = 8-bit Floating Point — 8-разрядный формат с плавающей точкой
- BF16 = bfloat16 (16-bit brain floating point) — 16-разрядный формат bfloat16
- GPU = Graphics Processing Unit — графический процессор
- HBM = High Bandwidth Memory — высокопропускная память
- TP = Tensor Parallelism — тензорный параллелизм
- PP = Pipeline Parallelism — конвейерный параллелизм
- EP = Expert Parallelism — экспертный параллелизм
- IB = InfiniBand — InfiniBand
- NIC = Network Interface Card — сетевой адаптер
- NVLink = NVIDIA NVLink — NVIDIA NVLink
- PCIe = Peripheral Component Interconnect Express — PCI Express
- SM = Streaming Multiprocessor — потоковый мультипроцессор
- UEC = Ultra Ethernet Consortium — Ultra Ethernet Consortium
- UALink = Ultra Accelerator Link — Ultra Accelerator Link
- MPFT = Multi-Plane Fat-Tree — многоплоскостное жирное дерево
- TPS = Tokens Per Second — токенов в секунду
Источник: Synced —
оригинал