OneAdvanced, 영국 주권 AWS에 50개 이상의 AI 에이전트 배포
Meta
영국 기반 엔터프라이즈 소프트웨어 제공업체인 OneAdvanced는 영국 주권 AWS 아키텍처에 50개 이상의 AI 에이전트를 배포했습니다. 데이터 레지던시를 보장하기 위해 Amazon SageMaker AI에서 Llama 4 Maverick과 Llama Guard 4를 자체 호스팅합니다. 이 솔루션은 pgvector를 사용한 RAG 파이프라인, Strands Agents SDK를 활용하며, Amazon ECS에서 실행됩니다.
OneAdvanced는 1만 명 이상의 고객을 둔 영국 기반 엔터프라이즈 소프트웨어 제공업체로, 데이터가 영국 밖으로 유출되지 않도록 하면서 AI 기능을 제공해야 했습니다. 원하는 특정 모델인 Llama 4 Maverick과 Llama Guard 4가 아직 영국 리전의 AWS 관리형 서비스를 통해 제공되지 않았기 때문에, 완전히 제어할 수 있는 AWS 인프라에서 오픈 가중치 LLM을 자체 호스팅하기로 했습니다. 이 아키텍처는 런던(유럽 서부 2) 리전의 p5.48xlarge 인스턴스에서 실행되는 Amazon SageMaker AI 엔드포인트에서 vLLM을 통해 제공되는 Llama 4 Maverick과 Llama Guard 4를 포함합니다. 50개 이상의 Strands 에이전트가 Amazon ECS에서 실행되며, 각 에이전트에는 고유한 시스템 프롬프트와 도구 구성이 있고, 에이전트 구성은 Amazon DynamoDB에 저장됩니다. Amazon S3에 업로드된 문서는 마크다운으로 변환되고, 청크로 분할된 후 pgvector에 임베딩되어 검색에 사용됩니다. Llama Guard 4는 요청이 기본 모델에 도달하기 전에 사용자 입력에 유해한 콘텐츠가 있는지 확인합니다. OneAdvanced는 프로토타입에서 프로덕션으로 전환하여 3주 만에 50개 이상의 에이전트를 배포했고, AI 거버넌스에 대한 ISO 42001 인증을 획득했습니다.
출처: AWS ML blog —
원문