Tantangan Nyata AI Enterprise Bukan Lagi Modelnya, Melainkan Operasionalnya

Perubahan besar dalam AI perusahaan pada Juni 2026 bukanlah kedatangan LLM lain, melainkan munculnya MLOps sebagai disiplin untuk mengoperasikan agen, dengan empat tantangan utama: konteks bisnis, tata kelola, observabilitas, dan biaya inferensi per unit. Google Cloud meluncurkan Gemini Enterprise Agent Platform untuk membangun, menskalakan, mengelola, dan mengoptimalkan agen, sementara Microsoft pada Build 2026 menekankan bahwa hambatan bukanlah kekuatan model, melainkan menyediakan konteks data yang koheren untuk agen. Bedrock AgentCore dari AWS berfokus pada eksploitasi operasional, menggunakan jejak produksi untuk meningkatkan sistem dan menyoroti risiko kegagalan diam-diam (silent failures). Databricks berpendapat bahwa loop agen hanyalah 1% yang terlihat, dengan 99% sisanya melibatkan penerapan, keamanan, evaluasi, dan konteks. Tumpukan MLOps terus berkembang untuk mencakup runtime agen, memori, identitas, gateway, dan pelacakan (tracing). Agent Identity dari Google menggunakan standar SPIFFE untuk verifikasi kriptografi, dan Gateway AgentCore dari AWS mengintegrasikan API yang ada dengan Model Context Protocol. Observabilitas kini mencakup evaluasi kualitatif, seperti yang terlihat di MLflow 3 dan Observabilitas AgentCore dari AWS. Infrastruktur menjadi lebih berorientasi platform dengan Inference Gateway dari CNCF yang mencapai GA (ketersediaan umum). FinOps juga berubah: Laporan State of the Cloud 2026 dari Flexera menyebutkan bahwa 58% organisasi menggunakan layanan GenAI cloud publik, 73% beroperasi secara hibrida, dan 49% menggunakan ekonomi unit. Sistem agen menimbulkan biaya di luar API model, termasuk panggilan gateway, memori, dan observabilitas. Di Eropa, Cloud and AI Development Act diusulkan pada 3 Juni, dan AI Act mulai berlaku penuh mulai 2 Agustus 2026. Perusahaan-perusahaan Eropa mendiversifikasi pemasok untuk mengurangi ketergantungan dan mengatasi masalah kedaulatan.