nOps tăng tốc triển khai tác nhân FinOps lên 75 phần trăm nhờ Amazon Bedrock AgentCore

nOps, công ty quản lý hơn 4 tỷ USD chi tiêu điện toán đám mây cho khách hàng, đã chuyển agent phân tích FinOps mang tên Clara sang Amazon Bedrock AgentCore để khắc phục những hạn chế của hạ tầng cũ tập trung vào application programming interface (API - giao diện lập trình ứng dụng), như độ trễ cao, sự phức tạp và chi phí bảo trì lớn. Kiến trúc mới sử dụng một agent duy nhất dựa trên Strands, chạy trên Amazon Bedrock AgentCore với khả năng truy cập công cụ trực tiếp, cùng một lớp dữ liệu được xây dựng trên Databricks Lakehouse Metric Views nhằm đảm bảo phân tích có quản trị, và Databricks Lakebase dùng để lưu trữ trạng thái bền vững như các session (phiên làm việc) và thông số canvas. Việc tương tác được xử lý bởi một ứng dụng Next.js chạy trên Vercel, sử dụng luồng Server-Sent Events (SSE), còn các quy trình bất đồng bộ sử dụng Amazon DynamoDB, Amazon SNS, Amazon SQS và Amazon API Gateway WebSocket. Việc tái cấu trúc này đã rút ngắn thời gian đưa vào sản xuất từ 10-12 tháng xuống còn 4 tháng (giảm 75%), nâng điểm số Correctness (độ chính xác) lên 81,7% và Helpfulness (mức độ hữu ích) lên 79,4%, giảm tỷ lệ lỗi công cụ từ 7,49% xuống 0,92%, đồng thời loại bỏ hoàn toàn lớp điều phối LangGraph/LangChain. Công ty cũng cải thiện hiệu suất phân tích thủ công của các nhóm chăm sóc khách hàng từ 2 giờ xuống còn 30 phút, và hiện có thể vận hành 4-6 agent sản xuất trên một runtime (môi trường thực thi) dùng chung.