Chờ Đã, Bạn Làm Được Điều Đó Ư? Cách (và Lý Do) Cài Đặt Mạng Nơ-Ron Trên Máy Tính Của Bạn

Hiện nay, hầu hết các mạng nơ-ron hoạt động trực tuyến, nhưng một số mô hình có thể được tải về và chạy trực tiếp trên máy tính của bạn, ngay cả khi không có kết nối internet. Đây được gọi là triển khai AI cục bộ. Việc này là hợp pháp: các nhà phát triển công bố trọng số mô hình để tải về, mặc dù mỗi mô hình có giấy phép riêng. Chạy cục bộ có nghĩa là dữ liệu của bạn nằm trên máy, bạn có thể làm việc ngoại tuyến và tránh phí API. Tuy nhiên, các mô hình cục bộ thường kém mạnh mẽ hơn so với các mô hình đám mây và có thể yêu cầu RAM đáng kể hoặc GPU tốt. Các mô hình phổ biến để sử dụng cục bộ bao gồm DeepSeek, Llama của Meta, Qwen của Alibaba, Gemma của Google, Mistral và Phi của Microsoft. Để cài đặt, các chương trình như LM Studio giúp đơn giản hóa quá trình. Ví dụ, để chạy DeepSeek với LM Studio, bạn tải phần mềm, tìm kiếm DeepSeek, chọn phiên bản lượng tử hóa (ví dụ: Q4_K_M) và tải về. Yêu cầu hệ thống khác nhau: DeepSeek 8B cần ít nhất 8 GB RAM và 5-6 GB dung lượng đĩa, 14B yêu cầu 16 GB RAM, và 32B cần 32 GB RAM. ChatGPT không thể tải về; OpenAI không phát hành trọng số. Sau khi cài đặt, chỉ cần internet để cập nhật hoặc tải mô hình mới. GPU mạnh không bắt buộc; CPU vẫn hoạt động nhưng chậm hơn. Lượng tử hóa giảm kích thước mô hình và yêu cầu nhưng đánh đổi một phần chất lượng.