Groq dobra o desempenho de inferência do Llama-2 70B em 3 semanas
A empresa Groq anunciou um aumento de duas vezes no desempenho de inferência para o modelo Llama-2 70B em apenas três semanas. A melhoria foi alcançada por meio da otimização de hardware e software. Agora, o sistema processa mais de 1250 tokens por segundo em um único stream.
Meta
Groq
Meta AI (GNews)28.07 · 10:04


