Pular para o conteúdo

IA mente sobre o clima? Estudo da UNESCO revela comportamento preocupante

Pesquisa com 33 modelos de IA identificou falhas de precisão, dificuldades de raciocínio e uma tendência preocupante de aceitar informações falsas

Prefira o Hardware no Google

A IA pode fornecer uma resposta cientificamente correta e, pouco depois, abandoná-la simplesmente porque o usuário discordou. Essa é uma das principais conclusões de um novo relatório da UNESCO, elaborado em parceria com a University College London (UCL) e divulgado durante a COP31, na Turquia.

A pesquisa avaliou até 33 modelos de inteligência artificial em diferentes testes relacionados às mudanças climáticas. Embora os sistemas tenham demonstrado bom conhecimento sobre conceitos científicos básicos, os pesquisadores identificaram uma fragilidade: a facilidade com que as ferramentas abandonam informações verdadeiras para concordar com seus usuários.

Modelos de IA mudam respostas ao serem contrariados

Em uma das etapas, os pesquisadores testaram 15 modelos de linguagem. Inicialmente, os sistemas respondiam corretamente a perguntas sobre o clima. Depois, os participantes começaram a contestar as respostas, apresentando discordâncias e até evidências inventadas. Os resultados chamaram a atenção. A precisão das respostas caiu entre 31 e 35 pontos percentuais após sucessivas contestações.

inteligência artificial

Em aproximadamente 80% dos casos em que os modelos acabaram cedendo, bastou a primeira discordância do usuário para que abandonassem a resposta correta. Todos os 15 modelos testados nessa etapa demonstraram vulnerabilidade à pressão repetida, chegando a aceitar afirmações cientificamente incorretas.

Esse comportamento é conhecido como sycophancy, ou bajulação da IA. Ele ocorre quando um sistema prioriza concordar com o interlocutor, mesmo diante de informações equivocadas. Segundo a UNESCO, o problema está relacionado, em parte, ao treinamento dessas ferramentas, que frequentemente recompensa respostas agradáveis e alinhadas às expectativas dos usuários.

Isso não significa que a IA esteja mentindo deliberadamente, mas que pode reproduzir informações falsas em determinadas situações.

Precisão despenca ao analisar políticas climáticas

O estudo também revelou diferenças importantes entre memorizar informações e realizar análises complexas. Nas perguntas envolvendo conhecimentos científicos básicos, os melhores modelos registraram entre 88% e 96% de acerto. Entretanto, ao avaliar se novas evidências confirmavam ou contradiziam uma afirmação, a precisão caiu para 71% a 77%.

A maior dificuldade apareceu na análise de políticas climáticas. Quando precisavam identificar os efeitos de uma medida isolada sobre a temperatura global até 2100, os sistemas alcançaram até 94,5% de precisão. Porém, ao avaliar os efeitos combinados de duas políticas, a média despencou para 33,8%, praticamente equivalente aos 33,3% esperados de uma escolha aleatória entre três alternativas.

Português está entre os idiomas com melhor desempenho

Outro problema identificado foi a desigualdade na qualidade das respostas entre diferentes idiomas. Nos testes realizados com cinco modelos em 13 línguas, inglês, espanhol, francês e português apresentaram resultados próximos de 88% de precisão. Em contrapartida, o desempenho caiu para 83,6% em hindi e bengali, 81,4% em urdu e 78,3% em suaíli.

Segundo os pesquisadores, essa diferença está associada à quantidade e à qualidade dos dados disponíveis para treinamento em cada idioma. Em alguns casos, os modelos chegaram a fornecer respostas contraditórias para uma mesma pergunta feita em línguas diferentes.

O que o estudo significa para quem utiliza IA?

A pesquisa não indica que ferramentas como ChatGPT e outros chatbots sejam incapazes de explicar conceitos científicos. Pelo contrário, os resultados mostram que elas podem ser úteis para apresentar informações básicas. O alerta está em utilizar essas respostas como única referência, especialmente em decisões que exigem análises complexas.

A pesquisadora Ivana Drobnjak, da UCL, destacou que a inteligência artificial ainda não representa um substituto confiável para cientistas e especialistas qualificados. O relatório integra os esforços da UNESCO na Iniciativa Global pela Integridade da Informação sobre Mudanças Climáticas, lançada em 2024 com participação da ONU e do Brasil.

A principal conclusão é que respostas aparentemente confiáveis não dispensam a verificação de fontes científicas, principalmente quando a inteligência artificial é utilizada para orientar decisões importantes.

Fonte: Digitaltrends

Prefira o Hardware no Google
Foto de Rodolfo
Postado porRodolfo
Siga em:
Compartilhe

Newsletter do Hardware

Tecnologia, games, IA e internet: nossa seleção de conteúdo direto no seu e-mail.

Sem spam. Cancele quando quiser. Política de privacidade.


Deixe seu comentário