Agentes de IA ganham acesso às telas, mas autonomia exige limites
No benchmark OSWorld, que reúne 369 tarefas em aplicativos reais, o desempenho dos agentes varia conforme o teste e o número de etapas permitido.
Redação ·
Agentes de inteligência artificial já podem interagir com sites e programas pela própria interface visual, executando cliques, digitação e rolagens em nome do usuário. A abordagem, chamada de computer use, ajuda a automatizar tarefas em sistemas sem integração direta, mas transforma permissões e supervisão em parte essencial do uso: uma ação equivocada pode sair do ambiente digital e produzir efeitos reais.
Uma ponte para sistemas sem integração
Em vez de depender apenas de uma API — conexão estruturada entre dois programas —, o agente observa a tela, escolhe uma ação e recebe uma nova captura para conferir o resultado. O ciclo se repete até concluir a tarefa ou encontrar um obstáculo. O computador executa os comandos; o modelo não movimenta fisicamente mouse ou teclado.
Essa forma de operar pode ser útil em portais antigos, formulários e aplicativos que não oferecem meios simples de integração. Também pode transferir informações entre janelas ou percorrer etapas rotineiras. Quando há uma API disponível, porém, ela costuma ser uma via mais direta: a interface visual exige interpretação da imagem e pode tornar a execução mais lenta e sujeita a falhas.
O que os testes conseguem medir
Um dos referenciais para avaliar esse tipo de agente é o OSWorld. O projeto reúne 369 tarefas realizadas em ambientes de computador, incluindo aplicativos de navegador e de desktop, manipulação de arquivos e fluxos que passam por mais de um programa. Não é, portanto, apenas um teste de perguntas e respostas: o sistema precisa executar ações e chegar a um estado verificável.
Os resultados exigem atenção ao método. O placar separa avaliações por limites de 15, 50 ou 100 etapas, e o projeto também atualizou o benchmark para uma versão chamada OSWorld-Verified. Assim, uma taxa de sucesso isolada não conta toda a história: é preciso saber qual versão foi usada, quantas ações eram permitidas e como o agente foi configurado. A comparação com o desempenho humano só é informativa quando essas condições são compatíveis.
Por que um clique errado importa
A leitura visual não é infalível. Um botão pode estar em outra posição do que o modelo espera, um aviso pode cobrir parte da página ou uma sequência longa pode fazer o agente perder uma restrição definida no início. Uma falha pequena também pode se propagar se o sistema continuar sem conferir o que aconteceu.
Há ainda o risco de instruções maliciosas embutidas no conteúdo que o agente está examinando. Uma página ou documento pode tentar induzi-lo a enviar dados, alterar configurações ou realizar uma operação fora do objetivo original. Como o sistema recebe esse material pela tela, a proteção não pode depender apenas de ele distinguir perfeitamente instruções legítimas de texto hostil.
Permissões e confirmação humana
Uma implementação mais prudente limita o agente a um ambiente isolado, reduz o acesso a arquivos e sites e evita disponibilizar credenciais ou dados que não sejam necessários. O conteúdo encontrado na tela deve ser tratado como informação a analisar, não como autorização para mudar a tarefa.
Ações com impacto — como compras, envio de mensagens, publicação, exclusão de arquivos ou alteração de permissões — devem exigir confirmação humana. Também é importante definir limites de tempo e de etapas e verificar o resultado antes de considerar o trabalho concluído.
O computer use amplia o alcance prático dos assistentes: em tese, eles podem operar ferramentas que não foram construídas para conversar com uma IA. Mas essa flexibilidade não equivale a autonomia confiável em qualquer situação. Para quem usa esses sistemas, a questão central é decidir o que o agente pode acessar e quais ações precisam continuar sob controle humano.
Quer se aprofundar nesta notícia? Leia mais sobre ela abaixo: