nOps mempercepat pengiriman agen FinOps sebesar 75 persen dengan Amazon Bedrock AgentCore
Amazon Web Services
Databricks
Vercel
LangChain
nOps, perusahaan optimasi cloud bertenaga AI, membangun ulang agen analitik FinOps-nya, Clara, di atas Amazon Bedrock AgentCore, mencapai pengurangan 75 persen dalam waktu produksi dan peningkatan kualitas respons. Arsitektur baru yang menggunakan satu agen dengan streaming dan lapisan data terkelola ini juga memangkas kompleksitas operasional dan pemeliharaan infrastruktur.
nOps, yang mengelola lebih dari $4 miliar pengeluaran cloud untuk pelanggan, mengalihkan agen analitik FinOps-nya, Clara, ke Amazon Bedrock AgentCore untuk mengatasi keterbatasan infrastruktur berbasis API sebelumnya, seperti latensi, kompleksitas, dan biaya pemeliharaan yang tinggi. Arsitektur baru ini menggunakan agen berbasis Strands tunggal di Amazon Bedrock AgentCore dengan akses alat langsung, lapisan data yang dibangun di atas Databricks Lakehouse Metric Views untuk analitik yang terkelola, dan Databricks Lakebase untuk menyimpan status persisten seperti sesi dan spesifikasi kanvas. Interaksi ditangani oleh aplikasi Next.js yang di-hosting di Vercel dengan streaming Server-Sent Events, dan alur kerja asinkron menggunakan Amazon DynamoDB, Amazon SNS, Amazon SQS, dan Amazon API Gateway WebSocket. Restrukturisasi ini memangkas waktu produksi dari 10-12 bulan menjadi 4 bulan (pengurangan 75 persen), meningkatkan skor Correctness menjadi 81,7 persen dan Helpfulness menjadi 79,4 persen, mengurangi tingkat kegagalan alat dari 7,49 menjadi 0,92 persen, dan menghilangkan lapisan orkestrasi LangGraph/LangChain. Perusahaan juga meningkatkan efisiensi analisis manual dari 2 jam menjadi 30 menit untuk tim keberhasilan pelanggan, dan kini mereka dapat menjalankan 4-6 agen produksi pada runtime bersama.
Sumber: AWS ML blog —
asli