OneAdvanced, İngiltere'ye özgü AWS üzerinde 50'den fazla yapay zeka ajanı dağıttı
Meta
İngiltere merkezli kurumsal yazılım sağlayıcısı OneAdvanced, veri yerleşikliğini garanti altına almak için İngiltere'ye özgü bir AWS mimarisi üzerinde 50'den fazla yapay zeka ajanı dağıttı ve Llama 4 Maverick ile Llama Guard 4'ü Amazon SageMaker AI üzerinde kendi kendine barındırdı. Çözüm, pgvector ile bir RAG (Belge Alma Artırılmış Nesil) hattı ve Strands Agents SDK'sını kullanıyor ve Amazon ECS üzerinde çalışıyor.
OneAdvanced, Birleşik Krallık merkezli ve 10.000'den fazla müşteriye hizmet veren kurumsal yazılım sağlayıcısı, yapay zeka yetenekleri sunarken hiçbir verinin Birleşik Krallık dışına çıkmamasını sağlamak zorundaydı. İstedikleri belirli modeller (Llama 4 Maverick ve Llama Guard 4) henüz Birleşik Krallık bölgesindeki AWS yönetilen hizmetleri aracılığıyla sunulamadığından, tamamen kontrol ettikleri AWS altyapısı üzerinde açık ağırlıklı modelleri kendi kendilerine barındırdılar. Mimari, Londra (eu-west-2) bölgesindeki p5.48xlarge örnekleri üzerinde çalışan Amazon SageMaker AI uç noktalarında vLLM aracılığıyla sunulan Llama 4 Maverick ve Llama Guard 4'ü içeriyor. 50'den fazla Strands ajanı Amazon ECS üzerinde çalışıyor; her birinin kendi sistem istemi ve araç yapılandırması bulunuyor ve ajan yapılandırmaları Amazon DynamoDB'de saklanıyor. Amazon S3'e yüklenen belgeler işaretlemeye dönüştürülüyor, parçalara ayrılıyor ve daha sonra alınmak üzere pgvector'e gömülüyor. Llama Guard 4, istek ana modele ulaşmadan önce kullanıcı girdilerini zararlı içerik açısından kontrol ediyor. OneAdvanced, üç hafta içinde 50'den fazla ajanı devreye alarak prototipten üretime geçti ve yapay zeka yönetişimi için ISO 42001 sertifikası aldı.
Kaynak: AWS ML blog —
orijinal