Groq在三周内将Llama-2 70B推理性能提升一倍
Groq公司宣布,在短短三周内,将Llama-2 70B模型的推理性能提升了一倍。这一改进是通过优化硬件和软件实现的。现在,系统每秒可处理超过1250个令牌(即token)。
Meta
Groq
Meta AI (GNews)28.07 · 10:04
Groq公司宣布,在短短三周内,将Llama-2 70B模型的推理性能提升了一倍。这一改进是通过优化硬件和软件实现的。现在,系统每秒可处理超过1250个令牌(即token)。
Meta
Groq
据《华尔街日报》报道,Nvidia正在与OpenAI讨论提供2500亿美元的融资担保用于数据中心项目。潜在交易将涉及Nvidia为OpenAI的债务支付提供担保,以确保获得Nvidia先进芯片的供应。
NVIDIA
OpenAI