Groq dobra o desempenho de inferência do Llama-2 70B em 3 semanas
Meta
Groq
A empresa Groq anunciou um aumento de duas vezes no desempenho de inferência para o modelo Llama-2 70B em apenas três semanas. A melhoria foi alcançada por meio da otimização de hardware e software. Agora, o sistema processa mais de 1250 tokens por segundo em um único stream.
A Groq, empresa especializada em hardware e software de inferência de IA, anunciou que dobrou o desempenho de inferência do modelo de linguagem de grande porte Llama-2 70B da Meta em apenas três semanas. Esse aumento significativo de desempenho foi alcançado apenas por meio de otimizações de software, sem alterações no hardware subjacente. A empresa afirma que essas melhorias demonstram o potencial de sua pilha de software para aprimorar a eficiência da inferência de modelos de IA. Esse desenvolvimento é particularmente relevante para aplicações que exigem processamento em alta velocidade de grandes modelos de IA.
Fonte: Meta AI (GNews) —
original