Cara melatih agen infrastruktur LLM agar tidak berbohong

Sebuah agen LLM internal hanya-baca dibangun untuk menjawab pertanyaan infrastruktur seperti 'mengapa layanan mengembalikan 502?'. Agen ini menggunakan Go, tanpa LangChain, dan memanggil model DeepSeek-V4-Flash serta Qwen3.6-27B-FP8 melalui API yang kompatibel dengan OpenAI. Versi pertama menggunakan loop ReAct gratis dan menghasilkan jawaban yang secara formal benar namun sering menyesatkan. Misalnya, ketika kesalahan 502 disebabkan oleh header respons yang terlalu besar di proksi, agen menyimpulkan 'tidak ada kesalahan di tingkat aplikasi', sehingga melewatkan penyebab sebenarnya. Lima kelas kesalahan diidentifikasi: cakupan yang salah, semantik waktu yang salah, kesimpulan negatif yang salah, hilangnya bukti, dan perencanaan ulang yang tidak terkendali. Solusinya adalah menyematkan LLM ke dalam kerangka aplikasi yang ketat. Panggilan alat diatur oleh kontrak yang diperluas, x-agent, yang mendefinisikan bukti, jenis keluaran, kesegaran, semantik negatif, dan status hanya-baca. Perencana pertama-tama membangun tujuan (misalnya, symptom.http_502, route.edge_to_ingress) dan kondisi berhenti: setiap tujuan yang diperlukan harus diselesaikan atau secara eksplisit tidak tersedia. Penjaga bukti mencegah finalisator menyimpulkan sebelum semua tujuan terpenuhi. Pemilihan alat dilakukan secara bertahap: filter kebijakan, filter awal leksikal, pemeringkatan ulang LLM (8 teratas), kemudian gerbang relevansi tujuan. Niat berisiko memiliki rute awal yang deterministik. Dalam evaluasi akhir, 44 dari 45 skenario lulus (29 dari 29 wajib), masing-masing dijalankan dua kali. Satu-satunya tes yang gagal adalah format laporan kapasitas opsional. Agen tetap hanya-baca; manusia yang memutuskan perubahan pada produksi.