Ngừng Nuôi Claude và GPT: Cách Tự Vận Hành Mô Hình Ngôn Ngữ Lớn Nội Bộ

Shadow AI - tình trạng nhân viên sử dụng các công cụ AI không được phê duyệt - đang là một vấn đề ngày càng lớn. Một cuộc khảo sát của ISACA cho thấy 90% kiểm toán viên công nghệ thông tin nhận thấy nhân viên sử dụng AI, nhưng chỉ có 38% tổ chức có chính sách. Theo báo cáo DBIR của Verizon, Shadow AI là hành động nội bộ không chủ ý phổ biến thứ ba, với mức tăng gấp bốn lần hàng năm. Mã nguồn và hình ảnh là những dữ liệu bị rò rỉ nhiều nhất. Lệnh cấm ChatGPT của Samsung vào năm 2023 sau một số sự cố cho thấy sự kém hiệu quả của việc cấm đoán, vì nó chỉ khiến việc sử dụng trở nên ngầm hơn. Việc mua các giao diện lập trình ứng dụng (API) của doanh nghiệp với chính sách không lưu trữ dữ liệu cũng không đủ, bởi vì các câu lệnh (prompt) vẫn có thể bị nhà cung cấp nhìn thấy, và các tòa án đã buộc OpenAI phải cung cấp nhật ký. Bài báo cảnh báo rằng việc thuê các đơn vị xử lý đồ họa (GPU) dùng chung hoặc thậm chí chuyên dụng trên đám mây không phải là giải pháp hoàn chỉnh, chỉ ra các lỗ hổng như CVE-2026-46229 nơi bộ nhớ video (VRAM) có thể bị rò rỉ giữa các khách thuê, và các bộ ảo hóa có thể thấy mọi thứ. Đối với hầu hết nhu cầu doanh nghiệp, việc thuê máy chủ vật lý chuyên dụng (bare-metal) là đủ, nhưng để bảo mật cao nhất, cần phải tự sở hữu phần cứng. Bài báo gợi ý nên bắt đầu với các mô hình đơn giản hơn như Qwen3-32B cho các tác vụ thông thường, sử dụng Ollama cho số lượng người dùng ít hoặc vLLM cho tải nặng, và đặt phía trước là LiteLLM như một cổng kết nối cho xác thực danh tính và kiểm toán. Điểm tương đương chi phí là khoảng 2 triệu token mỗi ngày, vượt qua ngưỡng này thì việc triển khai tại chỗ sẽ tiết kiệm hơn.