OneAdvanced ने ब्रिटिश संप्रभु AWS पर 50 से अधिक AI एजेंट तैनात किए

OneAdvanced, एक UK-आधारित एंटरप्राइज़ सॉफ़्टवेयर प्रदाता जो 10,000 से अधिक ग्राहकों की सेवा करता है, को AI क्षमताएँ प्रदान करने की आवश्यकता थी, यह सुनिश्चित करते हुए कि कोई डेटा UK से बाहर न जाए। चूंकि वे जो विशिष्ट मॉडल चाहते थे, Llama 4 Maverick और Llama Guard 4, अभी तक UK क्षेत्र में AWS प्रबंधित सेवाओं के माध्यम से उपलब्ध नहीं थे, इसलिए उन्होंने AWS इंफ्रास्ट्रक्चर पर ओपन-वेट LLM को सेल्फ-होस्ट किया जिसे वे पूरी तरह से नियंत्रित करते हैं। वास्तुकला में Llama 4 Maverick और Llama Guard 4 शामिल हैं जिन्हें Amazon SageMaker AI एंडपॉइंट पर vLLM के माध्यम से सेवा दी जाती है, जो लंदन (eu-west-2) क्षेत्र में p5.48xlarge इंस्टेंस पर चल रहे हैं। 50 से अधिक Strands एजेंट Amazon ECS पर चलते हैं, प्रत्येक के पास अपना सिस्टम प्रॉम्प्ट और टूल कॉन्फ़िगरेशन होता है, एजेंट कॉन्फ़िगरेशन Amazon DynamoDB में संग्रहीत किया जाता है। Amazon S3 पर अपलोड किए गए दस्तावेज़ मार्कडाउन में परिवर्तित होते हैं, खंडित होते हैं, और पुनर्प्राप्ति के लिए pgvector में एम्बेड किए जाते हैं। Llama Guard 4 मुख्य मॉडल तक अनुरोध पहुँचने से पहले उपयोगकर्ता इनपुट की हानिकारक सामग्री की जाँच करता है। OneAdvanced प्रोटोटाइप से उत्पादन तक चला गया, तीन सप्ताह में 50 से अधिक एजेंट तैनात किए, और AI शासन के लिए ISO 42001 प्रमाणन प्राप्त किया।