LLM-rakentaminen alusta alkaen: Sebastian Raschkan kattava kurssi

Sebastian Raschka, kirjan "Build a Large Language Model (From Scratch)" kirjoittaja, on julkaissut laajennetun kurssin LLM:n rakentamisesta tyhjästä. Kurssi koostuu useista videoista, joiden yhteenlaskettu kesto on noin 15 tuntia. Kurssi alkaa kehitysympäristön asentamisella uv-työkalun avulla, minkä jälkeen käsitellään tekstitiedon käsittelyä, mukaan lukien tokenisointi, Byte Pair Encoding (BPE) ja datalataajat. Seuraavaksi selitetään huomio-mekanismien (self-attention, causal attention, multi-head attention) koodaaminen tyhjästä, ja sen jälkeen esitellään LLM-arkkitehtuurin rakentaminen. Kurssi näyttää myös mallin esikoulutuksen merkitsemättömällä datalla, hienosäädön luokitteluun (käyttäen roskapostia esimerkkinä) sekä ohjeistusperustaisen hienosäädön. Maksaville tilaajille on bonuksena saatavilla 2,5 tunnin mittainen ei-tekninen video, jossa käsitellään LLM-kenttää vuonna 2025 ja muutoksia vuodesta 2018 lähtien. Raschka huomauttaa, että LLM:n rakentaminen tyhjästä on paras tapa ymmärtää, miten ne toimivat, ja vertaa sitä kilpa-auton kokoamiseen aloittaen kartista. Videot luotiin alun perin kirjan oheismateriaaliksi, mutta ne toimivat myös itsenäisenä sisältönä.