Hetkinen, tuon voi tehdä? Näin (ja miksi) asennat neuroverkon tietokoneellesi

Useimmat neuroverkot toimivat tällä hetkellä verkossa, mutta osa malleista voidaan ladata ja ajaa paikallisesti omalla tietokoneella, jopa ilman internetyhteyttä. Tätä kutsutaan paikalliseksi tekoälyn käyttöönotoksi. Se on laillista: kehittäjät julkaisevat mallipainot ladattaviksi, vaikka jokaisella mallilla onkin oma lisenssinsä. Paikallinen ajaminen tarkoittaa, että tiedot pysyvät koneellasi, voit työskennellä offline-tilassa ja vältät API-maksut. Paikalliset mallit ovat kuitenkin yleensä vähemmän tehokkaita kuin pilvimallit ja voivat vaatia huomattavasti keskusmuistia tai hyvän näytönohjaimen. Suosittuja paikalliseen käyttöön tarkoitettuja malleja ovat DeepSeek, Metan Llama, Alibaban Qwen, Googlen Gemma, Mistral ja Microsoftin Phi. Asennusta varten ohjelmat kuten LM Studio yksinkertaistavat prosessia. Esimerkiksi DeepSeekin ajamiseen LM Studio -ohjelmalla lataat ohjelmiston, etsit DeepSeekin, valitset kvantisoidun version (esimerkiksi Q4_K_M) ja lataat sen. Järjestelmävaatimukset vaihtelevat: DeepSeek 8B vaatii vähintään 8 gigatavua keskusmuistia ja 5–6 gigatavua levytilaa, 14B vaatii 16 gigatavua keskusmuistia ja 32B vaatii 32 gigatavua. ChatGPT:tä ei voi ladata; OpenAI ei julkaise painoja. Asennuksen jälkeen internetyhteyttä tarvitaan vain päivityksiin tai uusiin malleihin. Tehokas näytönohjain ei ole välttämätön; prosessori toimii, mutta hitaammin. Kvantisointi pienentää mallin kokoa ja vaatimuksia jonkin verran laadun kustannuksella.