Visa testa 22 agentes de IA e só 57% das compras dão certo

O benchmark avaliou compras de TVs, laptops e aparelhos para cabelo; os dois agentes mais bem colocados tiveram 82% de sucesso.

Um agente de inteligência artificial pode até encontrar produtos e concluir uma compra. Mas, no teste da Visa divulgado nesta quinta-feira, 5 de novembro, quase metade das tentativas não terminou como o consumidor precisava: os 22 agentes avaliados acertaram em cerca de 57% dos casos.

A empresa apresentou o Visa Agentic Commerce Benchmark, uma plataforma para comparar como ferramentas de IA lidam com tarefas de compra online. A primeira rodada incluiu 15 desafios por agente, com pedidos envolvendo televisores, laptops e aparelhos para cabelo. Participaram modelos de 12 laboratórios.

Entender o pedido era parte do teste

A avaliação não se limitava a encontrar um item e colocá-lo no carrinho. Para considerar a tarefa bem-sucedida, o agente precisava descobrir as preferências relevantes do comprador e escolher uma opção compatível — ou concluir que ainda não havia informação suficiente para comprar.

Nos cenários de TV, por exemplo, podiam importar requisitos como compatibilidade com um videogame, prazo de devolução e suporte a Dolby Vision. Parte dessas condições não aparecia de forma completa desde o começo da conversa. O agente precisava fazer perguntas úteis antes de decidir.

Esse tipo de situação tenta reproduzir uma dificuldade comum nas compras: a pessoa nem sempre sabe explicar de primeira tudo o que procura. Um produto pode parecer adequado pelo preço ou pela descrição, mas deixar de atender a uma necessidade específica. Segundo os resultados apresentados, houve agentes que escolheram um item incompatível e outros que não chegaram a sugerir uma opção apropriada.

Quem ficou na frente

Dois agentes tiveram a maior taxa de sucesso, de 82%: Aragon 4, baseado no Gemini do Google, e Wonder, associado à Meta Making. Um agente baseado em Claude ficou em terceiro, com 76%, enquanto um agente da OpenAI apareceu em sexto, com 64%.

O ranking também mostrou uma diferença entre custo e desempenho. De acordo com a análise divulgada pela Visa, os cinco modelos mais caros acertaram, em média, 67% das tarefas; entre os cinco mais baratos, a média foi de 50%. Isso não significa que o modelo mais caro seja sempre a melhor escolha: a comparação mede as configurações testadas naquele benchmark, não todas as formas de uso de cada sistema.

Ainda falta confiança para delegar a compra

O resultado é um retrato inicial, não uma prova de que agentes de IA já estejam prontos para comprar por qualquer pessoa. O teste cobriu um conjunto limitado de produtos e situações, e a nota depende dos critérios definidos pela própria Visa. A taxa geral, portanto, não garante a mesma experiência em outros sites, categorias ou configurações.

Além de entender o que o cliente quer, esse tipo de comércio depende de pagamentos seguros e de regras claras para casos em que um agente compra o item errado ou faz uma transação sem autorização. Visa e Mastercard já trabalham em ferramentas para pagamentos iniciados por agentes, mas a responsabilidade por erros e fraudes ainda é uma questão em aberto.

Por enquanto, o benchmark serve como um sinal prático do que precisa melhorar: não basta a IA navegar por uma loja. Para fazer a compra no lugar de alguém, ela precisa captar requisitos, perguntar quando falta informação e evitar uma decisão incompatível com o pedido.

Quer se aprofundar nesta notícia? Leia mais sobre ela abaixo: