Nhóm Kimi và kvcache-ai Mở Mã Nguồn AgentENV — Nền Tảng Phân Tán Huấn Luyện RL Agent Ở Quy Mô Kimi K3

Moonshot AI (nhóm phát triển mô hình Kimi K3) cùng với kvcache-ai vừa phát hành mã nguồn mở (giấy phép MIT) nền tảng AgentENV — một hệ thống phân tán dùng để thực thi môi trường tác tử (agent) ở quy mô lớn, phục vụ huấn luyện tăng cường (reinforcement learning - RL) cho mô hình hỗn hợp chuyên gia (mixture-of-experts - MoE) 2,8 nghìn tỷ tham số của họ, Kimi K3. Mỗi sandbox là một micro-VM Firecracker với nhân Linux, hệ thống tệp và không gian tên mạng riêng, cung cấp khả năng cô lập ở cấp nhân. Vòng đời sandbox được quản lý thông qua API HTTP Axum, chuyển tiếp yêu cầu đến một bộ điều phối (orchestrator). Hệ thống tệp rootfs chạy qua ublk trong không gian người dùng, sử dụng overlaybd cho các lớp ảnh: các lớp cơ sở (base layers) ở chế độ chỉ đọc và được chia sẻ giữa các sandbox, trong khi mỗi sandbox có lớp ghi (upper layer) riêng. Bên trong máy ảo khách, daemon envd (cổng 49983) xử lý các lệnh, thao tác tệp và báo cáo trạng thái; một proxy ngược định tuyến lưu lượng HTTP và WebSocket từ máy khách đến các dịch vụ VM. Đặc biệt chú trọng giảm độ trễ: bộ đệm trang (page cache) của máy chủ được chia sẻ giữa dữ liệu lưu trữ và ảnh chụp bộ nhớ (memory snapshots); cơ chế điều chỉnh bộ nhớ (memory ballooning) cho phép thu hồi bộ nhớ khách dư thừa trả về máy chủ, hỗ trợ overcommit khi các môi trường phân kỳ. Các tính năng chính bao gồm chụp ảnh (snapshotting), tạm dừng (pausing), tiếp tục (resuming) và nhân bản (forking). Ảnh chụp là gia tăng (incremental), không phải toàn phần. Theo dữ liệu được báo cáo, việc tải hoặc tiếp tục từ ảnh chụp mất dưới 50 ms, tạm dừng dưới 100 ms, và ảnh chụp gia tăng ngay cả khi ghi nặng cũng hoàn tất trong vòng dưới 100 ms. Tính năng fork, đặc thù cho RL, cho phép nhân bản một sandbox đang chạy thành tối đa 16 sandbox con độc lập trên cùng một nút. Sandbox cha bị tạm dừng trong lúc chụp rồi được tiếp tục. Tất cả sandbox con kế thừa hệ thống tệp, bộ nhớ và cấu hình tài nguyên của sandbox cha. Điều này cho phép các thiết lập tốn kém (cài đặt phụ thuộc, nhân bản kho lưu trữ) chỉ thực hiện một lần, sau đó trạng thái được nhân bản thành các luồng chạy song song. Ảnh chụp được lưu vào bộ lưu trữ đối tượng tương thích S3 hoặc hệ thống tệp phân tán. Theo mặc định, mỗi sandbox có TTL; khi hết hạn, sandbox không bị xóa mà bị tạm dừng; để xóa, bạn phải truyền tham số autoPause: false khi tạo. Các ảnh được tải theo nhu cầu thông qua overlaybd với bộ đệm đĩa cục bộ lưu dữ liệu nóng và loại bỏ dữ liệu lạnh. Điều này tránh phải làm nóng trước mọi ảnh trên tất cả các nút và có thể vượt quá dung lượng đĩa cục bộ. Trạng thái được tổ chức thành ba lớp: không gian làm việc của collector cho các tạo phẩm (artifacts), kho lưu trữ ảnh chụp (persistent storage) và bộ đệm thời gian chạy cục bộ cho các cấu hình dẫn xuất. Hai backend kho lưu trữ được hỗ trợ: posix_fs (mặc định) và oss (qua client S3-compatible chung, phải chỉ định rõ region). Một cơ chế vận chuyển P2P tùy chọn dựa trên iroh có thể quảng bá tạo phẩm đến các nút lân cận nhưng bị tắt theo mặc định. Đối với lưu trữ chia sẻ, băng thông tối thiểu 1 Gbit/s được khuyến nghị, và 10 Gbit/s trở lên được khuyến nghị mạnh mẽ. Để dễ dàng chuyển đổi, AgentENV cung cấp API HTTP tương thích với E2B: chỉ cần đặt E2B_API_URL đến máy chủ của bạn, các SDK chính thức của E2B cho Python/TypeScript sẽ hoạt động mà không cần thay đổi mã của tác tử. Ngoài ra còn có CLI gốc, aenv. Triển khai yêu cầu Linux 6.8+ và /dev/kvm; tập lệnh cài đặt nhắm mục tiêu Ubuntu 24.04. CLI hỗ trợ Linux và macOS trên x86_64 và arm64, trong khi máy chủ yêu cầu Linux (cần KVM). Năm phương thức triển khai được ghi lại: tập lệnh cài đặt với systemd, ảnh Docker, Docker Compose để mô phỏng cụm, Kubernetes manifests với gateway, scheduler và DaemonSet, và xây dựng từ mã nguồn Rust. Trong triển khai đa nút, một gateway trên cổng 8080 và một scheduler trên cổng 9090 được thêm vào.