Tekoälyagenttien arviointi: Tuotantosuunnitelma Strands- ja AgentCore-työkaluilla AWS:ltä ja Motorwaylta

Motorway järjestää päivittäisen huutokaupan, jossa jopa 8 000 jälleenmyyjää tekee tarjouksia enimmillään 2 500 ajoneuvosta. Yhteistyössä AWS:n kanssa he rakensivat tekoälyagentin, jonka avulla jälleenmyyjät voivat hakea varastoa luonnollisen kielen kyselyillä manuaalisen suodatuksen sijaan. Agentti tarjoaa kahdeksan työkalua, jotka yhdistävät strukturoidun suodatuksen 89 ajoneuvon attribuutin yli vektorihakutekniikan (vector similarity search) avulla käyttäen LanceDB:tä ja Amazon Titan Text Embeddings V2:ta. Luotettavuuden varmistamiseksi he loivat kaksivaiheisen arviointistrategian: rakennusaikainen testaus strands-agents-evals -työkalulla ja tuotannon seuranta Amazon Bedrock AgentCore Evaluations -palvelulla. Kolmikerroksinen viitekehys arvioi työkalujen käyttöä (yli 95 prosentin kynnys), päättelykykyä (yli 85 prosenttia) ja tuotoksen laatua (yli 90 prosenttia). Pass^k-mittari käsittelee epädeterminismiä: asiakaspuolen agenteilla peräkkäisten onnistuneiden yritysten määrällä on suurin merkitys. Putki vähensi virheellisiä tuloksia yhdestä kahdeksasta kyselystä yhteen viiteenkymmeneen ja lyhensi ongelmien havaitsemisajan tunneista minuutteihin. Mukana oleva lisätietovarasto tarjoaa käyttöön otettavan suunnitelman, joka on mukautettavissa muille agenteille.