ClaudeやGPT頼みはもう卒業：自社オンプレミスLLM構築ガイド

シャドーAI（従業員が許可なくAIツールを使用すること）は、深刻化する問題である。ISACAの調査によると、IT監査人の90%が従業員によるAIの使用を確認している一方で、ポリシーを策定している組織はわずか38%にとどまる。VerizonのDBIR（データ漏えい調査報告書）によると、シャドーAIは意図しない内部関係者による行動として3番目に多く、年間で4倍に増加している。最も漏えいしやすいデータはソースコードと画像である。サムスンが2023年にChatGPTを禁止した事例は、いくつかのインシデントを受けてのものだが、禁止は利用を地下に追いやるだけで効果がないことを示している。データを一切保持しないエンタープライズAPIを購入しても不十分であり、プロンプトは依然としてプロバイダーに見えるため、裁判所はOpenAIにログの引き渡しを命じた。この記事は、クラウドで共有GPUや専用GPUをレンタルすることも完全な解決策ではないと警告しており、テナント間でVRAMが漏えいする可能性があるCVE-2026-46229や、ハイパーバイザーがすべてを監視できるなどの脆弱性を指摘している。ほとんどの企業のニーズには専用ベアメタルホスティングで十分だが、最高レベルのセキュリティが必要な場合は、自社でハードウェアを所有する必要がある。この記事では、日常的なタスクにはQwen3-32Bのようなシンプルなモデルから始め、小規模なユーザー数にはOllama、高負荷にはvLLMを使用し、SSO（シングルサインオン）と監査のためのゲートウェイとしてLiteLLMを前面に配置することを提案している。コストが同等になるのは1日あたりおよそ200万トークンの時点であり、それを超えるとオンプレミスの方が経済的である。