GPU-hallinta: Miksi tyhjäkäyvät GPU:t ovat uusia maadoitettuja lentokoneita

Artikkelissa vedetään vertauskuva käyttämättömien grafiikkasuorittimien ja maassa seisovien lentokoneiden välillä ja todetaan, että kustannuksia kertyy kalenteritunnin mukaan, kun taas tulot riippuvat käyttöasteesta. Tekoälyssä mallien laatu oli aiemmin pääasiallinen painopiste, mutta pullonkaula on siirtynyt laskentatehon saatavuuteen ja tehokkuuteen. Jopa suuret laboratoriot kuten Anthropic ja Meta kohtaavat laskentakapasiteetin niukkuutta huolimatta valtavista investoinneista. Yritykset, jotka ottavat käyttöön omia grafiikkasuorittimia, kohtaavat uuden ongelman: miten pitää laitteisto kannattavasti käytössä. Kiireiset klusterit saattavat silti tuhlata kapasiteettia työkuormien yhteensopimattomuuden vuoksi, koska eri tehtävillä (päätely, kouluttaminen, kvantisointi) on erilaiset tarpeet. Grafiikkasuorittimien hallinta, jatkuva orkestrointikerros, on nousemassa esiin kohdentamaan resursseja reaaliajassa. Erikoistuneet pienemmät mallit voivat vapauttaa kapasiteettia, mutta orkestrointia tarvitaan sen tehokkaaseen uudelleenkäyttöön.