Groq kaksinkertaistaa Llama-2 70B:n päättelysuorituskyvyn kolmessa viikossa
Meta
Groq
Groq ilmoitti kaksinkertaistaneensa Llama-2 70B -mallin päättelysuorituskyvyn vain kolmessa viikossa. Parannus saavutettiin optimoimalla laitteistoa ja ohjelmistoa. Järjestelmä käsittelee nyt yli 1250 tokenia sekunnissa yhtä säiettä kohden.
AI-päätelmälaitteistoon ja -ohjelmistoon erikoistunut yritys Groq on ilmoittanut kolminkertaistaneensa Metan Llama-2 70B -suurkielimallin päätelmäsuorituskyvyn vain kolmessa viikossa. Tämä merkittävä suorituskyvyn kasvu saavutettiin pelkästään ohjelmistojen optimoinnilla ilman muutoksia taustalla olevaan laitteistoon. Yritys kertoo, että nämä parannukset osoittavat heidän ohjelmistopino-osaamisensa mahdollisuudet tehostaa tekoälymallien päätelmäprosessointia. Tämä kehitys on erityisen tärkeää sovelluksille, jotka vaativat suurten tekoälymallien nopeaa käsittelyä.
Lähde: Meta AI (GNews) —
Alkuperäinen