OneAdvanced在英国主权AWS上部署超过50个AI智能体

OneAdvanced是一家总部位于英国的企业软件供应商，服务于超过10,000家客户，需要在提供人工智能能力的同时确保数据不出境。由于他们所需的具体模型——Llama 4 Maverick和Llama Guard 4——在英国区域尚未通过AWS托管服务提供，因此他们选择在完全控制的AWS基础设施上自行托管开放权重的大语言模型。该架构包括通过vLLM在Amazon SageMaker AI端点上提供服务的Llama 4 Maverick和Llama Guard 4，这些端点运行在伦敦（eu-west-2）区域的p5.48xlarge实例上。超过50个Strands代理在Amazon ECS上运行，每个代理都有各自的系统提示和工具配置，代理配置存储在Amazon DynamoDB中。上传到Amazon S3的文档会被转换为Markdown格式，分块，并嵌入到pgvector中以供检索。Llama Guard 4在请求到达主模型之前检查用户输入是否有害内容。OneAdvanced在短短三周内从原型走向生产，部署了超过50个代理，并获得了AI治理方面的ISO 42001认证。