AI-overzicht · afgelopen maand

1. NVIDIA Groq 3: SRAM, uitsplitsing en determinisme in het nieuwe AI-platform
   NVIDIA's overname van Groq voor 20 miljard dollar heeft geresulteerd in de integratie van LPU-versnellers in het Vera Rubin-platform, wat versplinterde, heterogene AI-inferentie mogelijk maakt. Het nieuwe Groq 3 LPX-racksysteem combineert 256 LPU's voor snelle, deterministische token-generatie, terwijl Vera Rubin NVL72 flexibele training en inferentie verzorgt. Het platform is gericht op interactieve AI met lage latentie en multi-agent workloads, met een belofte van tot 35x snellere prestaties dan Grace Blackwell NVL72 bij 400 TPS per gebruiker.