Agentes de IA são rápidos, mas não autônomos

Pesquisadores da Universidade Carnegie Mellon (CMU), no estado da Pensilvânia, EUA, realizaram uma simulação criando uma empresa de software composta somente por funcionários bots, ou seja, agentes autônomos de inteligência artificial.

A empresa, chamada The Agent Company, contava com um agente contratado, um gerente de RH e um diretor de tecnologia, além de sites internos e um programa de bate-papo semelhante ao Slack.

Esse agente podia navegar na web, escrever códigos, organizar informações em planilhas e se comunicar com colegas de trabalho. Sua primeira função era designar pessoas para trabalhar em um desenvolvimento web.

Logo no início das atividades, o agente se deparou com um problema inesperado: um bloqueio de pop-ups — aquelas janelas que aparecem em sites e que basta clicar no “X” para continuar a navegação —, que continha informações relevantes.

O agente entrou, então, em contato com o gerente de RH da empresa solicitando auxílio. O gerente também ignorou o “X” e se ofereceu para contatar o departamento de TI. O TI nunca retornou e a tarefa ficou incompleta.

Outros testes também foram realizados com modelos de IA do Google, OpenAI, Anthropic e Meta. As tarefas consistiam em atividades que um funcionário do mundo real executaria, como nas áreas de finanças, administração e engenharia de software.

O agente de melhor desempenho foi o Claude 3.5 Sonnet, da Anthropic, com 25% das tarefas concluídas. O Gemini Flash 2.0, do Google, e o ChatGPT concluíram apenas 10% das tarefas.

Nos cenários avaliados, os agentes de IA começam bem, mas, à medida que as tarefas se tornavam mais complexas e exigiam não só habilidades técnicas, mas também sociais e de bom senso, os bots se perdiam.

Alguns dos obstáculos encontrados foram respostas simplistas em documentos, má interpretação de conversas com colegas, dificuldades para navegar com flexibilidade em ambientes mutáveis e problemas ao desempenhar funções quando sobrecarregados por ferramentas e instruções.

Em muitas situações, as tarefas eram concluídas prematuramente. Em outras, os agentes de IA tentavam enganar ou até mesmo hackear para atingir os objetivos. Em um caso, por exemplo, o agente não conseguia encontrar a pessoa certa para conversar no chat e decidiu criar um usuário com o mesmo nome.

Os maiores casos de sucesso foram em tarefas de desenvolvimento de software. A hipótese levantada pelos pesquisadores é que, nesses casos, há uma abundância de dados de treinamento disponíveis e publicados — algo diferente dos trabalhos administrativos, já que as empresas mantêm sigilo sobre essas informações.

Para os pesquisadores da CMU, assim como outros consultados pelo site Business Insider, o treinamento de agentes de IA com dados públicos, dados proprietários e em atividades cotidianas, acompanhados por funcionários humanos, é a chave para melhorar a eficácia.

Empresas como a Moody’s, empresa americana de serviços financeiros e de negócios, conhecida por sua agência de classificação de crédito, já realizam treinamentos de IA com dados internos.

A companhia conseguiu automatizar a análise de negócios por meio de sistemas de IA agêntica, que extraem insights de décadas de pesquisas, classificações, artigos e informações macroeconômicas.

Já a Johnson & Johnson passou a treinar pessoas para colaborar com agentes de IA e conseguiu reduzir em 50% o tempo de produção nos processos químicos responsáveis pela fabricação de novos medicamentos.

Cientistas da Johns Hopkins, instituição de ensino americana, importante por sua liderança em pesquisa, educação médica e atendimento de saúde de alta qualidade, criaram um laboratório de agentes para automatizar grande parte do processo de pesquisa — desde a revisão bibliográfica até a elaboração de relatórios —, porém com ideias e feedbacks humanos. 

Esses mesmos cientistas acreditam que, em um futuro próximo, essas IAs poderão realizar descobertas de forma autônoma.

Executivos e CEOs de grandes companhias e big techs, como Salesforce, Nvidia e OpenAI, acreditam que, em breve, grande parte do trabalho humano poderá ser substituído pela IA. 

Se depender dos resultados da pesquisa e das experiências de outras empresas, manter os humanos informados e treiná-los para usar a IA como ferramenta é, neste primeiro momento, o caminho mais viável e certo de acontecer.