GPU-viat Kubernetesissa: Laitteiden vikojen käsittely ilman loputonta odotustilaa

Artikkelissa tuodaan esiin Metan kokemukset Llama 3 405B -mallin kouluttamisesta, jossa 16 384 H100-näytönohjaimen klusterissa tapahtui 419 keskeytystä, joista 58,7 prosenttia liittyi näytönohjaimiin. Siinä todetaan, että Kubernetes kohtelee perinteisesti laitevioista samalla tavalla kuin tilattomien palveluiden vioista, yrittäen uudelleenkäynnistystä samalla rikkinäisellä näytönohjaimella, mikä johtaa kaatuilulooppiin. Tämän korjaamiseksi Kubernetes 1.36 tuo mukanaan useita mekanismeja: DRA (Dynamic Resource Allocation) on vakaa versiosta 1.34 lähtien ja tarjoaa objektipohjaisen mallin yksinkertaisen laskurin sijaan; prioriteettilista (firstAvailable) varalaitteille; laitteiden terveydentilan näyttäminen podin tilassa; laite-tahrat ja -sietokyvyt; sekä laitteiden sidontaehdot, muun muassa. Kirjoittaja rakentaa testiympäristön VK Cloud Managed Kubernetes 1.36 -alustalle, jossa on GPU-solmu, ja simuloi näytönohjaimen vikaa poistamalla PCIe-laitteen kuumana. He osoittavat, että solmu raportoi laitteen epäterveeksi ja allokoitavien määrä vähenee, mutta pod jatkaa uudelleenkäynnistymistä kuolleella näytönohjaimella ilman uudelleenaikataulutusta. Artikkeli päättyy selittämään, miksi Kubernetes ei tarjoa sisäänrakennettua uudelleenaikataulutusta CrashLoopBackOff-podeille, ja mainitsee tee-se-itse -malleja, kuten solmun terveydenohjaimet, jotka sammuttavat koko solmun, mikä on tyly työkalu.