Avaliando Agentes de IA: Um blueprint de produção com Strands e AgentCore da AWS e Motorway

A Motorway realiza um leilão diário onde até 8.000 revendedores dão lances em até 2.500 veículos. Trabalhando com a AWS, eles construíram um agente de IA que permite aos revendedores pesquisar estoque usando consultas em linguagem natural, em vez de filtragem manual. O agente expõe oito ferramentas que combinam filtragem estruturada em 89 atributos de veículos com busca por similaridade vetorial via LanceDB e Amazon Titan Text Embeddings V2. Para garantir confiabilidade, criaram uma estratégia de avaliação em duas fases: testes em tempo de construção com strands-agents-evals e monitoramento em produção com Amazon Bedrock AgentCore Evaluations. Um framework de três camadas avalia o uso de ferramentas (acima de 95% de limite), raciocínio (acima de 85%) e qualidade da saída (acima de 90%). Uma métrica pass^k lida com não determinismo: para agentes voltados ao cliente, o sucesso consecutivo em tentativas é o que mais importa. O pipeline reduziu resultados incorretos de 1 em 8 consultas para 1 em 50 e diminuiu o tempo de detecção de problemas de horas para minutos. Um repositório complementar fornece um blueprint implantável e adaptável para outros agentes.