Expedia Membangun Platform AI Ops dengan Alur Kerja Deterministik, Bukan Agen AI

Expedia Group memperkenalkan Service Telemetry Analyzer (STAR), sebuah platform observabilitas berbantuan AI yang membantu para insinyur menyelidiki insiden produksi dengan menganalisis data telemetri layanan dan menghasilkan penilaian akar masalah yang terstruktur. Sistem ini mengikuti alur kerja deterministik daripada menggunakan agen AI otonom: sistem mengumpulkan data telemetri, melakukan analisis dengan prompt khusus domain, mengumpulkan temuan, dan menghasilkan laporan yang berisi kemungkinan akar masalah serta langkah selanjutnya yang disarankan. STAR diimplementasikan sebagai aplikasi FastAPI yang terintegrasi dengan Datadog untuk metrik dan gateway AI generatif internal untuk akses Large Language Model (LLM). Platform ini menggunakan prompt chaining untuk menjalankan beberapa analisis khusus sebelum menghasilkan diagnosis yang terkonsolidasi. Fokus platform ini adalah pada telemetri infrastruktur standar dari layanan berbasis Kubernetes dan aplikasi Java Virtual Machine (JVM), termasuk metrik seperti throughput permintaan, latensi, tingkat kesalahan, penggunaan CPU/memori, mulai ulang kontainer, dan penggunaan heap Java. Expedia mengganti tugas latar belakang FastAPI dengan arsitektur Celery asinkron menggunakan Redis sebagai broker dan backend hasil untuk menangani operasi intensif Input/Output (I/O) dan batas kecepatan. STAR digunakan untuk penyelidikan insiden produksi, analisis pasca-insiden, pemecahan masalah Kubernetes, dan diagnostik memori JVM. Rencana ke depan termasuk menambahkan informasi ketergantungan layanan, integrasi Model Context Protocol (MCP) tool, dan antarmuka percakapan. Manajemen prompt dan evaluasi didukung oleh Langfuse.