Pesquisa revela que GPT-3, da OpenAI, demonstra raciocínio ao nível de universitários

Uma recente pesquisa conduzida por psicólogos da Universidade da Califórnia, Los Angeles (UCLA), trouxe à tona resultados surpreendentes sobre o GPT-3, o modelo de linguagem de inteligência artificial desenvolvido pela OpenAI.

O estudo revelou que o GPT-3 exibe um desempenho comparável ao de estudantes universitários ao enfrentar problemas de raciocínio, semelhantes aos que são comumente encontrados em testes de inteligência e exames padronizados, como o SAT. Para quem não sabe, o SAT é equivalente ao nosso ENEM aqui no Brasil.

Leia também
OpenAI lança aplicativo do ChatGPT para Android
Google, Microsoft e OpenAI se unem para garantir desenvolvimento responsável da IA

GPT-3 resolveu 80% dos problemas

O experimento, que foi publicado na revista Nature Human Behaviour, envolveu a apresentação de problemas de raciocínio típicos de testes de inteligência ao GPT-3 e a estudantes universitários.

Os resultados mostraram que o GPT-3 e os estudantes apresentaram desempenhos semelhantes. Além disso, o GPT-3 conseguiu resolver 80% dos problemas corretamente, superando a média dos estudantes, que ficou um pouco abaixo de 60%.

No entanto, o estudo também destacou algumas das limitações do GPT-3. Por exemplo, enquanto o modelo de IA mostrou-se capaz de realizar raciocínio analógico, ele falhou em tarefas que são simples para os seres humanos, como usar ferramentas para resolver uma tarefa física. Em testes específicos, o GPT-3 sugeriu soluções que foram consideradas sem sentido.

Estaria a inteligência artificial desenvolvendo um novo tipo de raciocínio?

Outro ponto de destaque da pesquisa é a questão sobre como o GPT-3 realiza seu raciocínio. Os pesquisadores da UCLA levantaram a questão de se o GPT-3 está imitando o raciocínio humano como um subproduto de seu vasto conjunto de treinamento de linguagem ou se está usando um tipo completamente novo de processo cognitivo. A resposta a essa pergunta ainda permanece incerta, pois o acesso às operações internas do GPT-3 é restrito pela OpenAI.

A pesquisa também explorou a capacidade do GPT-3 de resolver analogias baseadas em histórias curtas. Ou seja, eles tinham que identificar histórias diferentes mas que traziam o mesmo significado ou lição de moral. Para nós isso pode parecer fácil, mas envolve entender conceitos bastante abstratos, coisa que para uma máquina pode ser um desafio e tanto.

Embora os estudantes tenham superado o GPT-3 nessas tarefas específicas, o GPT-4, a versão mais recente da tecnologia da OpenAI, mostrou um desempenho superior ao do GPT-3. Vale lembrar que o GPT-3 é um modelo já “defasado” da OpenAI. Nem a versão gratuita do ChatGPT o utiliza, substituindo-o pelo GPT-3.5.

Em conclusão, enquanto o GPT-3 demonstrou habilidades impressionantes em certas tarefas de raciocínio, ainda existem áreas em que ele tem dificuldades. Os pesquisadores da UCLA estão ansiosos para explorar mais a fundo as capacidades e limitações do GPT-3 e de futuros modelos de IA.

Fonte: UCLA Newsroom