Wacht, dat kan? Zo (en waarom) installeer je een neuraal netwerk op je computer
DeepSeek
Meta
Alibaba/Qwen
Google/DeepMind
Mistral
Microsoft
Veel AI-modellen van vandaag kunnen worden gedownload en lokaal op je eigen hardware draaien, zonder internetverbinding. Dit biedt voordelen zoals offline gebruik, privacy en geen kosten per query. Populaire modellen zoals DeepSeek, Llama en Qwen kunnen worden geïnstalleerd met tools zoals LM Studio.
De meeste neurale netwerken werken momenteel online, maar sommige modellen kunnen worden gedownload en lokaal op je eigen computer worden uitgevoerd, zelfs zonder internetverbinding. Dit wordt lokale AI-implementatie genoemd. Het is legaal: ontwikkelaars publiceren modelgewichten om te downloaden, hoewel elk model zijn eigen licentie heeft. Lokaal uitvoeren betekent dat je gegevens op je machine blijven, je offline kunt werken en API-kosten vermijdt. Lokale modellen zijn echter over het algemeen minder krachtig dan cloudmodellen en kunnen aanzienlijk RAM-geheugen of een goede GPU vereisen. Populaire modellen voor lokaal gebruik zijn onder andere DeepSeek, Llama van Meta, Qwen van Alibaba, Gemma van Google, Mistral en Microsoft's Phi. Voor installatie vereenvoudigen programma's zoals LM Studio het proces. Als voorbeeld: om DeepSeek met LM Studio uit te voeren, download je de software, zoek je naar DeepSeek, kies je een gekwantiseerde versie (bijvoorbeeld Q4_K_M) en download je die. Systeemvereisten variëren: DeepSeek 8B heeft minimaal 8 GB RAM en 5-6 GB schijfruimte nodig, 14B vereist 16 GB RAM, en 32B heeft 32 GB RAM nodig. ChatGPT kan niet worden gedownload; OpenAI geeft geen gewichten vrij. Na installatie is internet alleen nodig voor updates of nieuwe modellen. Een krachtige GPU is niet verplicht; CPU werkt, maar is langzamer. Kwantisering verkleint de modelgrootte en vereisten, ten koste van enige kwaliteit.
Bron: Habr — хаб ИИ —
origineel