Pesquisa revela que GPT-3, da OpenAI, demonstra raciocínio ao nível de universitários

Uma recente pesquisa conduzida por psicólogos da Universidade da Califórnia, Los Angeles (UCLA), trouxe à tona resultados surpreendentes sobre o GPT-3, o modelo de linguagem de inteligência artificial desenvolvido pela OpenAI.

O estudo revelou que o GPT-3 exibe um desempenho comparável ao de estudantes universitários ao enfrentar problemas de raciocínio, semelhantes aos que são comumente encontrados em testes de inteligência e exames padronizados, como o SAT. Para quem não sabe, o SAT é equivalente ao nosso ENEM aqui no Brasil.

Leia também
OpenAI lança aplicativo do ChatGPT para Android
Google, Microsoft e OpenAI se unem para garantir desenvolvimento responsável da IA

GPT-3 resolveu 80% dos problemas

iStock 1148923626

O experimento, que foi publicado na revista Nature Human Behaviour, envolveu a apresentação de problemas de raciocínio típicos de testes de inteligência ao GPT-3 e a estudantes universitários.

Os resultados mostraram que o GPT-3 e os estudantes apresentaram desempenhos semelhantes. Além disso, o GPT-3 conseguiu resolver 80% dos problemas corretamente, superando a média dos estudantes, que ficou um pouco abaixo de 60%.

No entanto, o estudo também destacou algumas das limitações do GPT-3. Por exemplo, enquanto o modelo de IA mostrou-se capaz de realizar raciocínio analógico, ele falhou em tarefas que são simples para os seres humanos, como usar ferramentas para resolver uma tarefa física. Em testes específicos, o GPT-3 sugeriu soluções que foram consideradas sem sentido.

Estaria a inteligência artificial desenvolvendo um novo tipo de raciocínio?

o ARTIFICIAL INTELLIGENCE facebook

Outro ponto de destaque da pesquisa é a questão sobre como o GPT-3 realiza seu raciocínio. Os pesquisadores da UCLA levantaram a questão de se o GPT-3 está imitando o raciocínio humano como um subproduto de seu vasto conjunto de treinamento de linguagem ou se está usando um tipo completamente novo de processo cognitivo. A resposta a essa pergunta ainda permanece incerta, pois o acesso às operações internas do GPT-3 é restrito pela OpenAI.

A pesquisa também explorou a capacidade do GPT-3 de resolver analogias baseadas em histórias curtas. Ou seja, eles tinham que identificar histórias diferentes mas que traziam o mesmo significado ou lição de moral. Para nós isso pode parecer fácil, mas envolve entender conceitos bastante abstratos, coisa que para uma máquina pode ser um desafio e tanto.

Embora os estudantes tenham superado o GPT-3 nessas tarefas específicas, o GPT-4, a versão mais recente da tecnologia da OpenAI, mostrou um desempenho superior ao do GPT-3. Vale lembrar que o GPT-3 é um modelo já “defasado” da OpenAI. Nem a versão gratuita do ChatGPT o utiliza, substituindo-o pelo GPT-3.5.

Em conclusão, enquanto o GPT-3 demonstrou habilidades impressionantes em certas tarefas de raciocínio, ainda existem áreas em que ele tem dificuldades. Os pesquisadores da UCLA estão ansiosos para explorar mais a fundo as capacidades e limitações do GPT-3 e de futuros modelos de IA.

Fonte: UCLA Newsroom

Postado por
Cearense. 37 anos. Apaixonado por tecnologia desde que usou um computador pela primeira vez, em um hoje jurássico Windows 95. Além de tech, também curto filmes, séries e jogos.
Siga em:
Compartilhe
Deixe seu comentário
Veja também
Publicações Relacionadas
Img de rastreio
Localize algo no site!