Groq

来自以下厂商的最新 AI 新闻、模型与发布: Groq. ['Groq 3 LP30', 'Groq 3 LPU', 'Groq 3 LPX', 'llama-3.3-70b', 'LPU', 'RealScale']

硬件与推理 🇷🇺

英伟达 Groq 3:新 AI 平台中的 SRAM、解聚和确定性

在斥资 200 亿美元收购 Groq 后,英伟达将 LPU 加速器集成到 Vera Rubin 平台中,构建了用于推理的异构架构。全新的 Groq 3 LPX 机架加速器基于 Groq 3 LP30 芯片,配备 500 MB SRAM 和 150 TB/s 内存带宽,确保确定性执行和低延迟。基于阶段的解码解聚(AFD)可将 FFN 计算与注意力机制分离,在 GPU 和 LPU 之间分配工作负载。

NVIDIANVIDIA GroqGroq
ServerNews27.07 · 15:06
最新新闻