OneAdvanced déploie plus de 50 agents IA sur AWS souverain au Royaume-Uni
Meta
OneAdvanced, un fournisseur britannique de logiciels d'entreprise, a déployé plus de 50 agents IA sur une architecture AWS souveraine au Royaume-Uni, en auto-hébergeant Llama 4 Maverick et Llama Guard 4 sur Amazon SageMaker AI pour garantir la résidence des données. La solution utilise un pipeline RAG avec pgvector, le SDK Strands Agents, et fonctionne sur Amazon ECS.
OneAdvanced, un fournisseur britannique de logiciels d'entreprise qui sert plus de 10 000 clients, avait besoin de proposer des capacités d'IA tout en garantissant qu'aucune donnée ne quitte le Royaume-Uni. Comme les modèles spécifiques qu'ils souhaitaient, Llama 4 Maverick et Llama Guard 4, n'étaient pas encore disponibles via les services gérés d'AWS dans la région du Royaume-Uni, ils ont auto-hébergé des modèles de langage à poids ouverts sur l'infrastructure AWS qu'ils contrôlent entièrement. L'architecture comprend Llama 4 Maverick et Llama Guard 4 servis via vLLM sur des endpoints Amazon SageMaker AI, fonctionnant sur des instances p5.48xlarge dans la région de Londres (eu-west-2). Plus de 50 agents Strands fonctionnent sur Amazon ECS, chacun avec son propre prompt système et sa configuration d'outils, les configurations d'agents étant stockées dans Amazon DynamoDB. Les documents téléchargés sur Amazon S3 sont convertis en markdown, découpés en morceaux, puis intégrés dans pgvector pour la recherche. Llama Guard 4 vérifie que les entrées utilisateur ne contiennent pas de contenu nuisible avant que la requête n'atteigne le modèle principal. OneAdvanced est passé du prototype à la production, déployant plus de 50 agents en trois semaines, et a obtenu la certification ISO 42001 pour la gouvernance de l'IA.
Source: AWS ML blog —
original