Stop met het voeden van Claude en GPT: Zo zet je je eigen on-prem LLM op

Shadow AI, waarbij medewerkers gebruikmaken van niet-goedgekeurde AI-tools, is een groeiend probleem. Uit een onderzoek van ISACA blijkt dat 90% van de IT-auditors ziet dat medewerkers AI gebruiken, maar slechts 38% van de organisaties heeft hierover beleid. Het DBIR-rapport van Verizon toont aan dat Shadow AI de derde meest voorkomende onbedoelde handeling van insiders is, met een verviervoudiging op jaarbasis. Broncode en afbeeldingen zijn de meest gelekt data. Het verbod van Samsung op ChatGPT in 2023, na meerdere incidenten, illustreert de ineffectiviteit van verbieden, omdat het er alleen maar voor zorgt dat het gebruik ondergronds gaat. Het aanschaffen van enterprise-API's met nul dataretentie is ook onvoldoende, omdat prompts nog steeds zichtbaar zijn voor de provider, en rechtbanken hebben OpenAI gedwongen om logs af te staan. Het artikel waarschuwt dat het huren van gedeelde of zelfs dedicated GPU's in de cloud geen volledige oplossing is, wijzend op kwetsbaarheden zoals CVE-2026-46229 waarbij VRAM tussen tenants kan lekken, en hypervisors alles kunnen zien. Voor de meeste bedrijfsbehoeften is dedicated bare-metal hosting voldoende, maar voor de hoogste beveiliging is eigen hardware vereist. Het artikel suggereert om te beginnen met eenvoudigere modellen zoals Qwen3-32B voor routinetaken, met Ollama voor kleine gebruikersaantallen of vLLM voor zware belasting, en met LiteLLM als gateway voor SSO en auditing. Het kostenomslagpunt ligt op ongeveer 2 miljoen tokens per dag, waarboven on-premise voordeliger is.