Pièges cachés de l'infrastructure IA : ce que le client apprend six mois après le lancement (et comment nous l'avons résolu dans notre complexe matériel-logiciel)

L'article, écrit par Alexey, architecte chez Scala^r (membre du groupe Rubytech), traite des défis que rencontrent les clients lors de la construction de leur propre infrastructure d'IA. Les principaux pièges incluent : des composants qui fonctionnent individuellement mais échouent ensemble sous charge ; le choix de la mauvaise carte graphique (souvent H100 quand ce n'est pas nécessaire) ; des erreurs de configuration réseau qui dégradent les performances (par exemple, mélanger le trafic RDMA avec le trafic de sauvegarde) ; le manque de tolérance aux pannes dans les clusters Kubernetes ; la sous-estimation des besoins en alimentation et en refroidissement ; et le long processus de certification pour les industries réglementées. Pour y remédier, Scala^r propose le complexe matériel-logiciel 'Scala^r MII', qui offre une combinaison pré-testée de matériel, de système d'exploitation, de Kubernetes, de pile GPU et de pile réseau, réduisant le temps de déploiement à 1 à 2 semaines et augmentant les performances de 200 à 300 % par rapport à l'assemblage autonome. Le complexe prend en charge plusieurs plateformes GPU (NVIDIA et des alternatives chinoises) et inclut des fonctionnalités telles que la séparation physique du trafic, la mise en réseau MLAG, un planificateur personnalisé avec une connaissance de la topologie GPU, une alimentation redondante et des certificats FSTEC. L'article met également en évidence trois scénarios : l'apprentissage, le réglage fin et l'inférence, où le PAK offre des gains de performances significatifs.