Analisis Akar Masalah AI Bergeser dari Penalaran Model ke Rekayasa Konteks

Semakin banyak insinyur observability yang percaya bahwa kemampuan penalaran model bahasa besar bukan lagi kendala utama untuk analisis akar masalah (RCA) berbantuan AI; masalah yang lebih mendesak adalah jalur pemrosesan yang menentukan data apa yang diteruskan ke model. Sebagian besar pekerjaan RCA AI terbagi dalam dua kategori: desain berbasis agen yang memberi model alat untuk menyelidiki secara otonom, dan desain deterministik yang menetapkan korelasi antar sinyal terlebih dahulu dan menyediakan konteks yang sudah dikemas. Riset Coroot, yang dipimpin oleh insinyur Nikolay Sivko, membagi proses menjadi dua tugas: penalaran atas data yang disajikan dan 'kerangka pengumpulan data' yang menentukan data apa yang masuk ke model. Jalur pemrosesan Coroot mengkorelasikan sinyal menjadi temuan dan meneruskannya ke model sebagai satu konteks terfokus, menghindari perulangan agen, sehingga kesalahan dapat diatribusikan pada model itu sendiri. Sivko membangun skenario menggunakan Chaos Mesh NetworkChaos untuk menyuntikkan latensi antara layanan direktori dan basis data Postgres, menyebabkan kueri lambat dan kesalahan 502, dengan sinyal yang menyesatkan. Ia menguji sebelas model dengan perintah yang sama (sekitar 9.800 token), meminta masing-masing untuk memberikan akar masalah, rantai kausal, dan perbaikan segera. Model frontier Claude Opus 4.8, GPT-5.5, dan Gemini 3.1 Pro lulus, mengidentifikasi eksperimen tersebut dan perlunya menghapusnya beserta pekerjaan cron-nya. Di antara model yang lebih kecil, Gemma 4 31B adalah satu-satunya model yang dihosting sendiri yang mengidentifikasi akar masalah, sementara Qwen3.6 35B dan Qwen3 Coder Next yang lebih besar gagal. Pendekatan berbasis agen memiliki keunggulan, seperti menangkap sinyal tak terduga, tetapi mengalami masalah kemampuan debug di produksi, seperti yang terlihat pada kasus ZenML dan Incident.io. Banyak praktisi kini lebih menyukai alur kerja deterministik dengan langkah LLM yang sempit karena keandalan dan biaya token yang lebih rendah. Sivko mencatat bahwa satu panggilan singkat ke model frontier hanya memakan biaya beberapa sen karena analisis korelasi dilakukan sebelum panggilan; ia percaya bahwa bagian penalaran 'pada dasarnya telah terpecahkan' dan fokus saat ini adalah menyiapkan konteks yang tepat dan ringkas. Ini sejalan dengan tren yang lebih luas dalam rekayasa konteks, sebagaimana panduan dari Anthropic, LangChain, dan Mezmo menekankan pentingnya set konteks minimal dengan sinyal tinggi untuk penalaran dan observability berbasis LLM.