Tim Kimi dan kvcache-ai Merilis AgentENV Secara Open-Source — Platform Terdistribusi untuk Melatih RL Agen pada Skala Kimi K3

Tim Moonshot AI (pembuat model Kimi K3), bersama dengan kvcache-ai, telah merilis secara open-source (MIT) platform AgentENV — sebuah sistem terdistribusi untuk menjalankan lingkungan agen dalam skala besar, yang digunakan untuk pelatihan reinforcement learning (RL) dari model mixture-of-experts (MoE) Kimi K3 mereka yang memiliki 2,8 triliun parameter. Setiap sandbox adalah micro-VM Firecracker dengan kernel Linux, sistem file, dan namespace jaringan sendiri, memberikan isolasi tingkat kernel. Manajemen siklus hidup sandbox ditangani melalui API HTTP Axum yang merutekan permintaan ke orchestrator. Sistem file rootfs berjalan melalui ublk di ruang pengguna, menggunakan overlaybd untuk gambar berlapis: lapisan dasar bersifat read-only dan dibagikan antar sandbox, sementara setiap sandbox memiliki lapisan atas writable sendiri. Di dalam VM tamu, daemon envd (port 49983) menangani perintah, operasi file, dan laporan status; proxy terbalik merutekan lalu lintas HTTP dan WebSocket dari klien ke layanan VM. Perhatian khusus diberikan untuk mengurangi overhead: cache halaman host dibagikan antara data penyimpanan dan snapshot memori, dan mekanisme memory ballooning memungkinkan pemulihan memori tamu yang berlebih ke host, mendukung overcommit saat lingkungan menyimpang. Fitur utama termasuk snapshotting, menjeda, melanjutkan, dan forking. Snapshot bersifat inkremental, bukan penuh. Menurut data yang dilaporkan, memuat atau melanjutkan dari snapshot memakan waktu kurang dari 50 ms, menjeda kurang dari 100 ms, dan snapshot inkremental, bahkan di bawah beban tulis berat, selesai dalam waktu kurang dari 100 ms. Fitur fork, khusus untuk RL, memungkinkan kloning sandbox yang sedang berjalan menjadi hingga 16 sandbox anak independen di node yang sama. Sandbox induk dijeda sebentar selama penangkapan dan kemudian dilanjutkan. Semua instance anak mewarisi sistem file, memori, dan konfigurasi resource dari induk. Ini memungkinkan pengaturan yang mahal (menginstal dependensi, mengkloning repositori) dilakukan sekali, lalu state di-fork ke dalam eksekusi paralel. Snapshot disimpan ke penyimpanan objek yang kompatibel dengan S3 atau sistem file terdistribusi. Secara default, setiap sandbox memiliki TTL; setelah kedaluwarsa, sandbox tidak dihapus tetapi dijeda; untuk menghapusnya, Anda harus memberikan autoPause: false saat pembuatan. Gambar dimuat sesuai permintaan melalui overlaybd dengan cache disk lokal yang menyimpan data panas dan mengeluarkan data dingin. Ini menghindari pemanasan awal setiap gambar di semua node dan dapat melebihi kapasitas disk lokal. State diatur menjadi tiga lapisan: ruang kerja kolektor untuk artefak, repositori snapshot (penyimpanan persisten), dan cache runtime lokal untuk konfigurasi turunan. Dua backend repositori didukung: posix_fs (default) dan oss (melalui klien umum yang kompatibel dengan S3, region harus ditentukan secara eksplisit). Transport P2P opsional berbasis iroh dapat mengiklankan artefak ke node tetangga tetapi dinonaktifkan secara default. Untuk penyimpanan bersama, bandwidth minimum 1 Gbit/dtk direkomendasikan, dan 10 Gbit/dtk atau lebih sangat disarankan. Untuk transisi yang mudah, AgentENV menyediakan API HTTP yang kompatibel dengan E2B: cukup atur E2B_API_URL ke server Anda sendiri, dan SDK Python/TypeScript resmi E2B akan berfungsi tanpa perubahan kode pada agen. CLI asli, aenv, juga tersedia. Penerapan memerlukan Linux 6.8+ dan /dev/kvm; skrip instalasi menargetkan Ubuntu 24.04. CLI mendukung Linux dan macOS pada x86_64 dan arm64, sementara server memerlukan Linux (membutuhkan KVM). Lima metode penerapan didokumentasikan: skrip instalasi dengan systemd, gambar Docker, Docker Compose untuk simulasi kluster, manifest Kubernetes dengan gateway, scheduler, dan DaemonSet, dan membangun dari sumber Rust. Dalam penerapan multi-node, gateway pada port 8080 dan scheduler pada port 9090 ditambahkan.