Um experimento da Universidade de Carnegie Mellon (CMU), no estado da Pensilvânia, Estados Unidos, simulou o funcionamento de uma empresa composta somente por assistentes de inteligência artificial (IA). Os modelos escolhidos foram de empresas como OpenAI, Anthropic, Meta e Google. As ferramentas foram instruídas a concluir tarefas como analisar dados de planilhas, realizar avaliações de desempenho e escolher um novo espaço de escritório, por exemplo.
O resultado da simulação com a pequena startup de software, que foi baitizada de ‘The Agent Company’, foi desastroso. Os “funcionários” de IA não conseguiriam concluir nem um quarto das tarefas e obtiveram uma taxa de sucesso de somente 24% nos melhores casos. As conclusões do estudo vão na contramão de previsões que apontam que a IA substituirá a maioria dos postos de trabalho em um futuro próximo. A seguir, saiba mais sobre o teste.
🔎 Trabalhar com inteligência artificial vale a pena? Conheça 5 maneiras
🔔Canal do TechTudo no WhatsApp: acompanhe as principais notícias, tutoriais e reviews
Empresa fictícia, que contava apenas com robôs de IA entre seus “funcionários”, teve péssimo desempenho — Foto: Reprodução/Depositphotos
📝 Como usar o ChatGPT para melhorar a produtividade no trabalho? Veja no Fórum do TechTudo
Como funcionou o experimento da ‘The Agent Company’?
Pesquisadores da Universidade Carnegie Mellon criaram uma empresa fictícia chamada ‘The Agent Company’, composta somente por assistentes de IA, desenvolvidos por empresas como OpenAI, Anthropic, Meta e Google. As ferramentas foram designadas para desempenhar funções típicas de uma startup de software de pequeno porte, o que incluí análise de dados, avaliações de desempenho e escolha de um novo espaço para o escritório. A infraestrutura simulava um ambiente corporativo real, com intranet, ferramentas de comunicação semelhantes ao Slack e manuais de funcionários.
Universidade Carnegie Mellon, nos EUA, é pioneira no ensino de inteligência artificial no país — Foto: Reprodução/Carnegie Mellon
O objetivo era avaliar a capacidade das ferramentas de realizar tarefas complexas sem intervenção humana e os resultados foram decepcionantes. O melhor desempenho foi do modelo Claude.AI 3.5 Sonnet da Anthropic, que concluiu somente 24% das tarefas atribuídas. Esse desempenho aquém do esperado também teve um custo elevado: cada tarefa exigiu, em média, quase 30 etapas e gerou um gasto superior a US$ 6. O Gemini Google 2.0 Flash, por sua vez, consumiu em média 40 passos por atividade, mas teve uma taxa de sucesso de 11,4%. O pior ‘funcionário’ foi o Nova Pro v1, da Amazon, que concluiu 1,7% de suas demandas com uma média de quase 20 passos.
Principais falhas dos agentes de IA
Janelas de pop-up foram um dos entraves que atrapalharam agente de IA a concluir suas tarefas — Foto: Reprodução/Canva
Durante o experimento, os agentes de inteligência artificial apresentaram dificuldades em utilizar o bom senso, executar interações sociais básicas e compreender o uso de ferramentas digitais comuns. Em uma situação, ao se deparar com um pop-up que bloqueava o acesso a arquivos, um dos bots não recorreu à solução óbvia de fechar a janela e acionou o suporte de TI, que nunca respondeu.
Também houve falhas na interpretação de instruções simples. Ao receber a tarefa de colar respostas em um arquivo chamado answer.docx, um agente tratou o nome do documento como texto simples e não realizou a ação corretamente. Em outro episódio, sem conseguir identificar o colega certo para tirar uma dúvida no chat corporativo, um agente optou por renomear outro usuário para simular uma conversa bem-sucedida. Esses casos evidenciam limitações na autonomia e no entendimento de contexto por parte das IAs em ambientes de trabalho.
O que o estudo aponta para o futuro do trabalho e da IA?
O experimento da Universidade Carnegie Mellon lança dúvidas sobre as previsões de que a inteligência artificial substituirá os empregos humanos em larga escala em um futuro próximo. As tecnologias disponíveis atualmente até se saem bem em tarefas específicas e bem definidas, mas ainda enfrentam dificuldades diante de demandas mais complexas e da imprevisibilidade dos ambientes corporativos.
É possível que tecnologias mais avançadas consigam superar essas limitações com o tempo, mas, por enquanto, a presença humana continua indispensável. Para especialistas, a cooperação entre pessoas e sistemas de IA ainda é a estratégia mais eficaz, já que une a capacidade de análise de dados das máquinas à adaptabilidade dos profissionais.
Veja também: Você confia em IA? Alunos revelam se já ‘colaram’ com a ferramenta
Você confia em IA? Alunos revelam se já ‘colaram’ com a ferramenta
