2,8 biljoen parameters is niet het einde: Binnenlands model Kimi K4 streeft naar extreme schaal, GPU's worden knelpunt

Moonshot AI, de Chinese startup achter de Kimi K-serie, heeft de release aangekondigd van zijn nieuwste model, Kimi K4, en beweert dat het 2,8 biljoen parameters heeft. Dit maakt het een van de grootste gerapporteerde dichte modellen. Het bedrijf gaf aan dat dit niet de grens is; ze zijn van plan de modelgrootte verder op te schalen. Ze noemden echter de beschikbaarheid van krachtige GPU's als de belangrijkste beperkende factor voor verdere uitbreiding. Het bestaande model is getraind met duizenden NVIDIA H800 GPU's, en het verkrijgen van geavanceerdere hardware is uitdagend vanwege exportbeperkingen en binnenlandse aanbodbeperkingen.