Um recente estudo realizado por cientistas das universidades de Stanford e Berkeley, nos Estados Unidos, revelou que a inteligência artificial generativa conhecida como ChatGPT, desenvolvida pela OpenAI, tem apresentado uma redução em sua capacidade de aprendizado e precisão ao longo do tempo. Essa constatação contraria a ideia inicial de que a IA se tornaria cada vez mais inteligente e precisa com o passar do tempo.
Desempenho inferior do GPT-4 em comparação com a versão anterior
A pesquisa tinha como objetivo inicial avaliar a melhoria do modelo de linguagem do ChatGPT, mas os resultados mostraram que, entre março e junho de 2023, a precisão das respostas diminuiu significativamente. Comparado com a versão anterior, o GPT-3.5, o atual motor de linguagem, o GPT-4, apresentou um desempenho inferior.
Análise de problemas matemáticos, questões sensíveis e programação
Os cientistas analisaram as respostas do ChatGPT em diversos cenários, incluindo problemas matemáticos, perguntas sensíveis, geração de código de programação e criação de materiais visuais, todos baseados em comandos de texto.
Nos 500 desafios propostos no estudo relacionados a números primos, o ChatGPT com o motor GPT-4 acertou apenas 12 respostas corretamente em junho, enquanto em março havia acertado 488. No caso das questões sensíveis, a IA se recusou a responder mais perguntas no último mês do que no início do ano.
Quanto aos desafios de programação, a taxa de acerto também apresentou uma queda significativa, passando de 52% em março para apenas 10% em junho. Esses problemas são considerados básicos em um curso da área, o que torna a situação ainda mais preocupante. O motor GPT-3.5 também apresentou uma queda brusca de desempenho nesse aspecto.
Variação no comportamento do modelo de linguagem
A principal conclusão do estudo, que ainda aguarda avaliação para ser publicado em um periódico acadêmico, é que há uma grande variação no comportamento de um mesmo modelo de linguagem em um curto período de tempo. Isso pode representar um problema grave para aqueles que dependem desses serviços, pois a “inteligência” da IA pode variar para mais ou para menos, prejudicando aqueles que já utilizam ferramentas ou conteúdos construídos com base nesses serviços.
Contraponto da Microsoft
Em uma pesquisa oposta, a Microsoft recentemente alegou ter melhorado a performance da IA generativa em sua integração com o buscador Bing, principalmente em assuntos como receitas e viagens.
ste texto foi gerado pela IA do GerAI e recebeu curadoria humana de Manoela Meneses, do JOR, para garantir sua qualidade e relevância.
O GerAI conecta o ChatGPT ao WhatsApp. É #GRÁTIS! Experimente em https://gerai.com.br/
Obs.: Gere press release ou nota de imprensa, como esta, com as hashtags #release e #nota no GerAI.
