Groq verdubbelt de inferentieprestaties van Llama-2 70B binnen drie weken
Meta
Groq
Het bedrijf Groq heeft aangekondigd dat de inferentieprestaties voor het model Llama-2 70B binnen slechts drie weken zijn verdubbeld. Deze verbetering is bereikt door optimalisatie van zowel hardware als software. Het systeem verwerkt nu meer dan 1250 tokens per seconde per stream.
Groq, een bedrijf dat gespecialiseerd is in hardware en software voor AI-inferentie, heeft aangekondigd dat het de inferentieprestaties van Meta's Llama-2 70B large language model in slechts drie weken tijd heeft verdubbeld. Deze aanzienlijke prestatieverbetering is bereikt door uitsluitend software-optimalisaties, zonder enige wijzigingen aan de onderliggende hardware. Het bedrijf stelt dat deze verbeteringen het potentieel van hun softwarestack aantonen om de efficiëntie van AI-modelinferentie te vergroten. Deze ontwikkeling is met name relevant voor toepassingen die snelle verwerking van grote AI-modellen vereisen.
Bron: Meta AI (GNews) —
origineel