28 biljoen tokens is niet de limiet: Chinees AI-model Kimi K4 mikt hoger, GPU's zijn de bottleneck
Moonshot AI
Moonshot AI ontwikkelt een nieuw model, Kimi K4, naar verwachting beter dan zijn voorganger Kimi K3 dat getraind is op 28,8 biljoen tokens. De CEO van het bedrijf gaf aan dat de schaal van het model wordt beperkt door de beschikbaarheid van GPU's, wat de hardwarebeperkingen als bottleneck benadrukt.
Moonshot AI, de ontwikkelaar van de Kimi-serie van grote taalmodellen, heeft zijn nieuwste model aangekondigd: Kimi K4. De oprichter en chief executive officer van het bedrijf zei dat Kimi K4 groter zal zijn dan Kimi K3, dat werd getraind op 28,8 biljoen tokens. Hij benadrukte dat de belangrijkste beperking voor de omvang van het model niet technologische ambitie is, maar de beschikbaarheid van grafische verwerkingseenheden (GPU's), waarmee hij wees op hardwarebeperkingen als de voornaamste knelpunt.
Bron: DeepSeek (GNews) —
origineel