Expedia xây dựng nền tảng AI Ops với quy trình xác định, không dùng AI Agent

Expedia Group đã giới thiệu Service Telemetry Analyzer (STAR), một nền tảng quan sát có sự hỗ trợ của AI giúp các kỹ sư điều tra sự cố sản xuất bằng cách phân tích dữ liệu đo xa dịch vụ và tạo ra các đánh giá nguyên nhân gốc rễ có cấu trúc. Hệ thống tuân theo một quy trình xác định thay vì sử dụng các tác tử AI tự động: nó thu thập dữ liệu đo xa, thực hiện phân tích với các prompt chuyên biệt cho từng lĩnh vực, tổng hợp kết quả và tạo báo cáo với các nguyên nhân tiềm ẩn và các bước tiếp theo được đề xuất. STAR được triển khai dưới dạng ứng dụng FastAPI tích hợp với Datadog cho các chỉ số và một cổng AI tạo sinh nội bộ để truy cập LLM (mô hình ngôn ngữ lớn). Nó sử dụng chuỗi prompt để thực hiện nhiều phân tích chuyên biệt trước khi tạo ra chẩn đoán tổng hợp. Nền tảng tập trung vào dữ liệu đo xa hạ tầng tiêu chuẩn từ các dịch vụ dựa trên Kubernetes và ứng dụng JVM (máy ảo Java), bao gồm các chỉ số như thông lượng yêu cầu, độ trễ, tỷ lệ lỗi, sử dụng CPU/bộ nhớ, số lần khởi động lại container và mức sử dụng heap Java. Expedia đã thay thế các tác vụ nền FastAPI bằng kiến trúc Celery bất đồng bộ sử dụng Redis làm broker và backend kết quả để xử lý các hoạt động I/O (vào/ra) nặng và giới hạn tốc độ. STAR được sử dụng để điều tra sự cố sản xuất, phân tích hậu sự cố, khắc phục sự cố Kubernetes và chẩn đoán bộ nhớ JVM. Các kế hoạch tương lai bao gồm thêm thông tin phụ thuộc dịch vụ, tích hợp công cụ MCP (Giao thức Ngữ cảnh Mô hình) và giao diện hội thoại. Quản lý và đánh giá prompt được hỗ trợ bởi Langfuse.