클로드와 GPT에 데이터를 공급하지 마세요: 자체 온프레미스 LLM 구축 방법

섀도우 AI(Shadow AI), 즉 직원들이 승인되지 않은 AI 도구를 사용하는 것은 점점 더 심각한 문제가 되고 있다. ISACA의 설문 조사에 따르면 IT 감사자의 90%가 직원들이 AI를 사용하는 것을 목격했지만, 조직의 38%만이 관련 정책을 보유하고 있는 것으로 나타났다. 버라이존의 DBIR(Data Breach Investigations Report)에 따르면 섀도우 AI는 의도하지 않은 내부자 행동 중 세 번째로 흔한 사례로, 연간 4배 증가했다. 유출되는 데이터 중 가장 많은 것은 소스 코드와 이미지다. 삼성의 2023년 ChatGPT 사용 금지 조치는 여러 사건 이후 내려졌지만, 금지 조치는 단지 사용을 지하로 몰아넣을 뿐이라는 것을 보여준다. 데이터를 저장하지 않는 엔터프라이즈 API를 구매하는 것도 충분하지 않다. 프롬프트가 여전히 제공자에게 노출되기 때문이다. 실제로 법원은 OpenAI에게 로그를 제출하도록 명령한 바 있다. 이 기사는 클라우드에서 공유 GPU 또는 전용 GPU를 임대하는 것도 완전한 해결책이 아니라고 경고한다. CVE-2026-46229와 같은 취약점은 테넌트 간 VRAM 누출이 가능하고, 하이퍼바이저가 모든 것을 볼 수 있기 때문이다. 대부분의 기업 요구에는 전용 베어메탈 호스팅으로 충분하지만, 최고 수준의 보안이 필요한 경우 자체 하드웨어가 필요하다. 이 기사는 일상적인 작업에는 Qwen3-32B와 같은 간단한 모델로 시작하고, 소규모 사용자 수에는 Ollama, 대규모 부하에는 vLLM을 사용하며, SSO(Single Sign-On) 및 감사를 위한 게이트웨이로 LiteLLM을 앞세울 것을 제안한다. 비용이 동일해지는 지점은 하루 약 200만 토큰이며, 그 이후에는 온프레미스(on-premise)가 더 경제적이다.