Groq double les performances d'inférence de Llama-2 70B en trois semaines
Meta
Groq
La société Groq a annoncé un doublement des performances d'inférence pour le modèle Llama-2 70B en seulement trois semaines. Cette amélioration a été obtenue grâce à l'optimisation du matériel et du logiciel. Désormais, le système traite plus de 1250 jetons par seconde par flux.
Groq, une entreprise spécialisée dans le matériel et les logiciels d'inférence pour l'IA, a annoncé avoir doublé les performances d'inférence du grand modèle de langage Llama-2 70B de Meta en seulement trois semaines. Cette amélioration significative des performances a été obtenue grâce à des optimisations logicielles uniquement, sans aucune modification du matériel sous-jacent. L'entreprise affirme que ces améliorations démontrent le potentiel de sa pile logicielle pour renforcer l'efficacité de l'inférence des modèles d'IA. Ce développement est particulièrement pertinent pour les applications nécessitant un traitement à haute vitesse de grands modèles d'IA.
Source: Meta AI (GNews) —
original