Os grandes modelos de linguagem (LLMs) são conhecidos por gerarem resultados incorretos, frequentemente chamados de "hallucinations". Embora a maioria das pesquisas tenha focado na análise desses erros do ponto de vista do usuário, o novo estudo investiga a estrutura interna dos LLMs, revelando que esses modelos codificam informações sobre veracidade de maneira mais sofisticada do que se acreditava anteriormente.

Os pesquisadores adotaram uma definição ampla para "hallucinations", considerando todos os erros gerados pelos LLMs, incluindo imprecisões factuais e falhas de raciocínio lógico. Diferentemente de estudos anteriores que analisavam apenas a resposta final, a pesquisa atual examina "exact answer tokens", que são os tokens de resposta que, se alterados, mudariam a correção da resposta.

Os experimentos foram realizados em quatro variantes dos modelos Mistral 7B e Llama 2 por meio de 10 conjuntos de dados. Os resultados indicaram que a informação sobre veracidade se concentra nos "exact answer tokens", e que a criação de classificadores específicos melhorou a detecção de erros relacionados à verdade das respostas geradas.

1. Os LLMs têm representações internas que incluem informações sobre sua própria veracidade.

2. Classificadores treinados em tokens específicos mostraram maior eficácia na detecção de erros.

3. Não há generalização dos classificadores entre tarefas diferentes.

4. Os sinais internos de veracidade nem sempre se alinham com as respostas finais.

5. O estudo sugere a necessidade de melhores sistemas de mitigação de erros.

Esses insights sobre as representações internas dos LLMs podem ser cruciais para a criação de sistemas de mitigação de erros, além de fornecer uma base para uma melhor interpretação dos processos internos dos modelos. As descobertas indicam que os LLMs não adotam um único mecanismo de veracidade, mas sim múltiplos mecanismos que variam conforme a tarefa.

- Importância do entendimento interno dos LLMs. - Potencial para melhorar a confiabilidade dos modelos. - Implicações futuras para desenvolvimentos em AI. - Acesso a representações internas é essencial.

Os pesquisadores ressalvam que compreender as representações internas pode permitir que se aproveitem melhor os potenciais ocultos dos LLMs, levando a avanços significativos na redução de erros e no aprimoramento dos sistemas associados a esta tecnologia.

O estudo destaca a capacidade dos LLMs em reconhecer suas próprias falhas, sugerindo a necessidade de abordagens inovadoras para melhorar a precisão desses modelos. Os leitores são incentivados a se inscreverem em nossa newsletter para receberem atualizações diárias sobre as mais recentes descobertas e inovações no campo da inteligência artificial.

FONTES:

1. Technion

2. Google Research

3. Apple

4. VentureBeat

5. Arxiv