Lopeta Clauden ja GPT:n ruokinta: Näin otat käyttöön oman paikallisen suurkielimallin

Varjo-AI, jossa työntekijät käyttävät luvattomia tekoälytyökaluja, on kasvava ongelma. ISACAn kysely paljasti, että 90 prosenttia tietojärjestelmätarkastajista näkee työntekijöiden käyttävän tekoälyä, mutta vain 38 prosentilla organisaatioista on käytäntöjä. Verisonin DBIR-raportin mukaan Varjo-AI on kolmanneksi yleisin tahaton sisäpiirin toiminta, ja sen määrä on nelinkertaistunut vuodessa. Lähdekoodi ja kuvat ovat vuotaneita tietoja, joita esiintyy eniten. Samsungin vuonna 2023 asettama ChatGPT:n kielto useiden tapausten jälkeen osoittaa, että kieltäminen on tehotonta, koska se vain ajaa käytön maan alle. Myös yritys-APIen ostaminen nollatietosäilytyksellä ei riitä, koska kehotteet ovat silti palveluntarjoajan nähtävissä, ja tuomioistuimet ovat pakottaneet OpenAIN luovuttamaan lokit. Artikkeli varoittaa, että jaettujen tai jopa erillisten grafiikkaprosessoreiden vuokraaminen pilvestä ei ole täydellinen ratkaisu, viitaten haavoittuvuuksiin kuten CVE-2026-46229, jossa VRAM voi vuotaa vuokralaisten välillä, ja hypervisorit voivat nähdä kaiken. Useimpien yritysten tarpeisiin erillinen fyysinen palvelinkoneistus riittää, mutta korkeimman tietoturvan saavuttamiseksi tarvitaan omaa laitteistoa. Artikkeli ehdottaa aloittamista yksinkertaisemmilla malleilla, kuten Qwen3-32B, rutiinitehtäviin, käyttäen Ollamaa pienille käyttäjämäärille tai vLLM:ää raskaalle kuormitukselle, ja LiteLLM:ää yhdyskäytävänä kertakirjautumista ja auditointia varten. Kustannusten tasapainopiste on noin kahdessa miljoonassa tokenissa päivässä, jonka jälkeen oma palvelinkeskus on taloudellisempi.