OneAdvanced Menempatkan Lebih dari 50 Agen AI di AWS Berdaulat Inggris
Meta
OneAdvanced, penyedia perangkat lunak perusahaan yang berbasis di Inggris, menempatkan lebih dari 50 agen AI pada arsitektur AWS berdaulat Inggris, dengan menghosting sendiri Llama 4 Maverick dan Llama Guard 4 di Amazon SageMaker AI untuk memastikan residensi data. Solusi ini menggunakan jalur RAG (Retrieval-Augmented Generation) dengan pgvector, Strands Agents SDK, dan berjalan di Amazon ECS.
OneAdvanced, penyedia perangkat lunak enterprise asal Inggris yang melayani lebih dari 10.000 pelanggan, perlu menghadirkan kemampuan AI sambil memastikan tidak ada data yang meninggalkan Inggris. Karena model spesifik yang mereka inginkan, Llama 4 Maverick dan Llama Guard 4, belum tersedia melalui layanan terkelola AWS di wilayah Inggris, mereka melakukan self-hosting pada LLM open-weight di infrastruktur AWS yang sepenuhnya mereka kendalikan. Arsitekturnya mencakup Llama 4 Maverick dan Llama Guard 4 yang disajikan melalui vLLM pada endpoint Amazon SageMaker AI, berjalan pada instance p5.48xlarge di wilayah London (eu-west-2). Lebih dari 50 agen Strands berjalan di Amazon ECS, masing-masing dengan system prompt dan konfigurasi alat sendiri, dengan konfigurasi agen disimpan di Amazon DynamoDB. Dokumen yang diunggah ke Amazon S3 diubah menjadi markdown, dipotong-potong, dan disematkan ke pgvector untuk pengambilan. Llama Guard 4 memeriksa input pengguna untuk konten berbahaya sebelum permintaan mencapai model utama. OneAdvanced beralih dari prototipe ke produksi, menerapkan lebih dari 50 agen dalam tiga minggu, dan meraih sertifikasi ISO 42001 untuk tata kelola AI.
Sumber: AWS ML blog —
asli