AMD neemt Taalas over: startup brandt AI-modellen in chips voor snelle inferentie
Google/DeepMind
AMD neemt het Canadese AI-startup Taalas over, dat gespecialiseerde inferentiechips bouwt door de structuur en aangeleerde parameters van een AI-model rechtstreeks in de chip te verankeren. Dit maakt inferentie extreem snel, maar beperkt de chip tot het draaien van een enkel model. AMD is van plan de technologie te integreren in zijn accelerator-roadmap en deze als systeemoplossing met Instinct-GPU's aan te bieden.
AMD neemt de Canadese AI-startup Taalas over, die gespecialiseerde inferentiechips bouwt. Taalas, opgericht in 2023 in Toronto, kwam in februari uit de stealth-modus. De startup embedt de structuur en de geleerde parameters van een AI-model rechtstreeks in de chip, waardoor inferentie extreem snel wordt, maar de chip kan slechts één model draaien. Een demochip behaalde meer dan 16.000 tokens per seconde per gebruiker met Llama3.1-8B, enkele malen sneller dan de huidige concurrerende chips. Naar verluidt werkt Google ook aan zo'n chip voor zijn Gemini-modellen. AMD wil de technologie integreren in zijn accelerator-roadmap en deze samen met Instinct-GPU's aanbieden als systeemoplossing. Volgens Vamsi Boppana, senior vice president van AMD's AI-divisie, versterkt de overname de AI-portfolio. Taalas-medeoprichter Ljubisa Bajic zei dat AMD de nodige schaal en het bereik biedt. De overname is onderworpen aan de gebruikelijke goedkeuringen.
Bron: The Decoder (DE) —
origineel