OneAdvanced triển khai hơn 50 tác tử AI trên AWS có chủ quyền tại Anh

OneAdvanced, một nhà cung cấp phần mềm doanh nghiệp có trụ sở tại Vương quốc Anh (UK) phục vụ hơn 10.000 khách hàng, cần mang lại các khả năng trí tuệ nhân tạo (AI) đồng thờii bảo đảm không có dữ liệu nào rồi khỏi lãnh thổ Vương quốc Anh. Vì các mô hình cụ thể mà họ muốn dùng, Llama 4 Maverick và Llama Guard 4, chưa có sẵn thông qua các dịch vụ được quản lý của AWS (Amazon Web Services) tại khu vực Vương quốc Anh, họ đã tự triển khai các mô hình ngôn ngữ lớn (LLM) trọng số mở trên hạ tầng AWS mà họ toàn quyền kiểm soát. Kiến trúc này bao gồm Llama 4 Maverick và Llama Guard 4 được phục vụ qua vLLM trên các điểm cuối (endpoint) của Amazon SageMaker AI, chạy trên các phiên bản p5.48xlarge tại khu vực London (eu-west-2). Hơn 50 tác tử (agent) Strands chạy trên Amazon ECS (Elastic Container Service), mỗi tác tử có system prompt và cấu hình công cụ riêng, với cấu hình tác tử được lưu trữ trong Amazon DynamoDB. Các tài liệu được tải lên Amazon S3 (Simple Storage Service) sẽ được chuyển đổi sang định dạng markdown, chia nhỏ thành các đoạn (chunk) và nhúng (embed) vào pgvector để phục vụ việc truy xuất. Llama Guard 4 kiểm tra dữ liệu đầu vào của ngườii dùng để phát hiện nội dung độc hại trước khi yêu cầu được chuyển đến mô hình chính. OneAdvanced đã đi từ nguyên mẫu (prototype) đến vận hành thực tế, triển khai hơn 50 tác tử chỉ trong ba tuần, và đạt được chứng nhận ISO 42001 của Tổ chức Tiêu chuẩn hóa Quốc tế (ISO) về quản trị AI.