GPT-4.5 se mostra ‘mais humano que os humanos’ e passa em teste de Turing

O modelo GPT-4.5 da OpenAI pode se passar por humano e enganar pessoas durante interações na maioria das vezes. É o que concluiu um estudo envolvendo o teste de Turing conduzido pela Universidade da Califórnia em San Diego (UCSD), nos Estados Unidos, que também teve a participação dos modelos GPT-4o, Llama 3.1-405B da Meta e o antigo bot Eliza.

No experimento envolvendo 300 pessoas, que avaliou a capacidade das máquinas de imitar o comportamento humano e foi baseado no teste criado pelo matemático Alan Turing em 1950, um avaliador humano interagiu com duas testemunhas, outra pessoa e o bot, por meio de texto. O objetivo era saber se o interrogador conseguiria identificar quem era a IA.

Conforme o estudo ainda não revisado, divulgado na plataforma arXiv na última segunda-feira (31), o GPT-4.5 conseguiu enganar o avaliador em 73% dos casos quando orientado a adotar uma “persona”. Nestas situações, o chatbot usava uma identidade falsa, soando como um jovem com conhecimento em cultura e internet, por exemplo.

O resultado alcançado pela versão mais recente da IA da OpenAI é bem maior do que a chance aleatória de 50% de acertar se a testemunha era humana ou um bot. Para os pesquisadores, isso significa que o ChatGPT se mostrou “mais humano que os humanos” e passou no teste de Turing.

E os demais resultados?

Durante o experimento, o GPT-4.5 também recebeu orientações via prompt para se portar como “no-persona”, quando adotava uma abordagem mais genérica, embora ainda precisasse convencer os voluntários de que era humano. Neste caso, o desempenho caiu bastante, com o bot enganando o avaliador em 36% das vezes.

Já o GPT-4o recebeu somente instruções no-persona e se mostrou pouco convincente em imitar o comportamento humano, apresentando índice de 21%. Curiosamente, o clássico bot Eliza se saiu melhor do que ele na mesma situação, chegando a uma taxa de sucesso de 23%.

Para o pesquisador do Laboratório de Linguagem e Cognição da UCSD, Cameron Jones, os resultados demonstram que os modelos de IA são capazes de substituir humanos em interações curtas sem que as pessoas percebam. “Isso poderia potencialmente levar à automação de empregos, ataques de engenharia social aprimorados e uma ruptura social mais geral”, escreveu, no X.

No entanto, o autor principal do artigo acredita que a situação pode mudar se as pessoas se familiarizarem mais com as conversas com os bots. Caso isso aconteça, elas serão mais capazes de identificar as IAs durante uma interação.

E você, já conversou com um chatbot acreditando se tratar de um humano do outro lado da tela? Conte a sua experiência nas redes sociais do TecMundo.