Gestion des GPU : pourquoi les GPU inactifs sont les nouveaux avions cloués au sol

L'article établit une analogie entre les GPU inactifs et les avions cloués au sol, notant que les coûts s'accumulent à l'heure civile tandis que les revenus dépendent de l'utilisation. Dans l'IA, la qualité des modèles était autrefois la priorité, mais le goulot d'étranglement s'est déplacé vers la disponibilité et l'efficacité du calcul. Même de grands laboratoires comme Anthropic et Meta sont confrontés à une pénurie de calcul malgré des investissements massifs. Les entreprises adoptant des GPU locaux sont confrontées à un nouveau problème : maintenir le matériel utilisé de manière rentable. Les clusters occupés peuvent encore gaspiller de la capacité en raison de décalages de charge de travail, car différentes tâches (inférence, entraînement, quantification) ont des besoins variables. La gestion des GPU, une couche d'orchestration continue, émerge pour allouer les ressources en temps réel. Des modèles plus petits et spécialisés peuvent libérer de la capacité, mais une orchestration est nécessaire pour la redéployer efficacement.