GPU-Ausfälle in Kubernetes: Gerätefehler ohne endloses Pending behandeln
Meta
NVIDIA
Im Jahr 2024 erlebte der Cluster von Meta mit 16.384 H100-GPUs, auf dem Llama 3 405B trainiert wurde, 419 Unterbrechungen, von denen 58,7 % auf GPU-Ausfälle zurückzuführen waren. Kubernetes behandelt solche Fehler oft, indem Container einfach auf demselben defekten Gerät neu gestartet werden, was zu endlosen Pending-Zuständen führt. Dieser Artikel erklärt, wie die neue Funktion Dynamic Resource Allocation (DRA) in Kubernetes 1.36 endlich einen Ausweg bietet, und zeigt dies anhand einer Live-Demo in einem verwalteten VK-Cloud-Cluster.
Der Artikel hebt Metas Erfahrungen beim Training von Llama 3 405B hervor, wo der Cluster aus 16.384 H100 GPUs 419 Unterbrechungen erlebte, von denen 58,7 % GPU-bedingt waren. Es wird darauf hingewiesen, dass Kubernetes Geräteausfälle traditionell wie Ausfälle zustandsloser Dienste behandelt und versucht, einen Neustart auf derselben defekten GPU durchzuführen, was zu einer Crashloop führt. Um dies zu adressieren, führt Kubernetes 1.36 mehrere Mechanismen ein: DRA (Dynamic Resource Allocation) ist seit 1.34 stabil und bietet ein objektbasiertes Modell anstelle eines einfachen Zählers; eine priorisierte Liste (firstAvailable) für Backup-Geräte; Geräte-Gesundheitsstatus im Pod-Status; Geräte-Taints und Tolerations; sowie Geräte-Bindungsbedingungen, unter anderem. Der Autor baut einen Teststand auf VK Cloud Managed Kubernetes 1.36 mit einem GPU-Knoten auf und simuliert einen GPU-Ausfall durch heisses Entfernen des PCIe-Geräts. Sie zeigen, dass der Knoten das Gerät als ungesund meldet und die Anzahl der zuweisbaren Geräte sinkt, aber der Pod weiterhin auf der toten GPU neu gestartet wird, ohne dass eine Neuplanung erfolgt. Der Artikel schließt mit der Erklärung, warum Kubernetes kein eingebautes De-Scheduling für CrashLoopBackOff-Pods bietet, und erwähnt DIY-Muster wie Node-Health-Controller, die den gesamten Knoten töten, was ein grobes Werkzeug ist.
Quelle: Habr — хаб ML —
Original