A crescente popularidade do ChatGPT na geração de código suscita questões sobre sua eficácia em autoverificação. Um novo estudo, publicado na revista IEEE Transactions on Software Engineering, avalia a habilidade do ChatGPT em avaliar a correção de seu próprio código e identificar vulnerabilidades.

Os pesquisadores observaram que, em prompts diretos, o ChatGPT-3.5 incorretamente afirmou que 39% do código estava correto quando não estava, e 25% do código considerado livre de vulnerabilidades realmente as continha. Por outro lado, ao utilizar perguntas orientadoras, a capacidade do ChatGPT de identificar erros melhorou significativamente, com um aumento de 25% na detecção de erros de código e 69% na identificação de vulnerabilidades.

Adicionalmente, o estudo revelou que enquanto o ChatGPT-4 demonstrou melhorias em geração de código e reparos, ainda assim cometeu erros significativos de autovalidação, classificando frequentemente códigos inválidos como corretos. A integração das capacidades do ChatGPT com a expertise humana é essencial para garantir a qualidade do código gerado.

1. ChatGPT-3.5 errou 39% ao afirmar que seu código estava correto.

2. 25% de vulnerabilidades foram erroneamente classificadas como seguras.

3. Perguntas guiadas aumentaram a detecção de erros em 25%.

4. ChatGPT-4 não eliminou problemas de autoverificação.

5. A integração com expertise humana é crucial.

Essas descobertas destacam não apenas as deficiências do ChatGPT em programação, mas também a necessidade de um envolvimento humano mais ativo na supervisão dos resultados gerados pela IA. A confiança excessiva em ferramentas de IA pode levar a erros graves e vulnerabilidades.

- ChatGPT deve ser visto como uma ferramenta de suporte. - O cuidado é essencial ao avaliar a saída do ChatGPT. - A interação entre IA e humanos é fundamental para a qualidade do software. - Estudos futuros devem focar em melhorias nas capacidades de verificação.

As implicações desse estudo são vastas, sugerindo que a responsabilidade pela verificação de código não deve ser delegada unicamente à IA. É essencial que desenvolvedores e engenheiros de software utilizem o ChatGPT como um auxiliar, sempre com um olhar crítico sobre suas declarações.

Em conclusão, o estudo revela as limitações do ChatGPT em sua autoavaliação de código, indicando que enquanto ferramentas de IA podem apoiar a programação, elas não devem substituir a vigilância humana. Para se manter atualizado sobre as inovações em tecnologia e IA, inscreva-se na nossa newsletter e fique por dentro de mais conteúdos diários sobre o tema.

FONTES:

1. IEEE Transactions on Software Engineering

2. Studies on ChatGPT's coding abilities

3. AI Hallucinations

4. Security Risks from AI Hallucinations