OneAdvanced ottaa käyttöön yli 50 tekoälyagenttia Ison-Britannian alueella sijaitsevalla AWS:llä
Meta
OneAdvanced, brittiläinen yritysohjelmistojen toimittaja, otti käyttöön yli 50 tekoälyagenttia Ison-Britannian alueella sijaitsevalla AWS-arkkitehtuurilla, itse isännöiden Llama 4 Maverickin ja Llama Guard 4:n Amazon SageMaker AI:ssa varmistaakseen tietojen säilytyksen. Ratkaisu käyttää RAG-putkistoa pgvectorin ja Strands Agents SDK:n kanssa ja toimii Amazon ECS:ssä.
OneAdvanced, brittiläinen yritysohjelmistojen toimittaja, jolla on yli 10 000 asiakasta, tarvitsi tekoälyominaisuuksia varmistaen samalla, ettei data poistu Yhdistyneestä kuningaskunnasta. Koska halutut mallit, Llama 4 Maverick ja Llama Guard 4, eivät vielä olleet saatavilla AWS:n hallinnoitujen palveluiden kautta Ison-Britannian alueella, he toteuttivat avoimen painoarvon LLM-mallien itseisännöinnin AWS-infrastruktuurissa, jota he hallinnoivat täysin. Arkkitehtuuri sisältää Llama 4 Maverick- ja Llama Guard 4 -mallit, joita tarjoillaan vLLM:n kautta Amazon SageMaker AI -päätepisteissä p5.48xlarge-instansseilla Lontoon (eu-west-2) alueella. Yli 50 Strands-agenttia toimii Amazon ECS:ssä, jokaisella on oma järjestelmäkehote ja työkaluasetukset, ja agenttikonfiguraatio tallennetaan Amazon DynamoDB:hen. Amazon S3:een ladatut asiakirjat muunnetaan markdown-muotoon, pilkotaan ja upotetaan pgvectoriin hakua varten. Llama Guard 4 tarkistaa käyttäjän syötteet haitallisen sisällön varalta ennen kuin pyyntö saavuttaa päämallin. OneAdvanced eteni prototyypistä tuotantoon ottaen käyttöön yli 50 agenttia kolmessa viikossa ja saavutti ISO 42001 -sertifioinnin tekoälyn hallinnasta.
Lähde: AWS ML blog —
Alkuperäinen