Google DeepMind Lança Benchmark para Melhorar Factualidade em Modelos de Linguagem

Tecnologia Inteligência Artificial Pesquisa e Desenvolvimento

Pesquisadores do Google DeepMind apresentaram um novo benchmark chamado FACTS Grounding, que avalia a capacidade de modelos de linguagem (LLMs) em fornecer respostas factualmente precisas com base em documentos longos, visando reduzir as chamadas 'alucinações' e aumentar a precisão das informações.

Create a 2D, linear perspective image in vector, flat, and corporate style. The background should be white and textureless. This scene has a scholarly theme, as it depicts the evaluation of language models by Google DeepMind researchers. It should contain performance charts to illustrate the comparison between different language learning models. Add iconic representations of Artificial Intelligence, signifying technology and innovation. Also, visualize documents symbolizing the significance of contextual data. The color palette should mostly include shades of blue and green, conveying trust and technology.

Imagem gerada utilizando Dall-E 3

A problemática das alucinações, que são respostas factualmente imprecisas, continua a ser um grande desafio para modelos de linguagem. O novo benchmark FACTS Grounding foi introduzido pelos pesquisadores do Google DeepMind para enfrentar essa questão, focando na capacidade dos LLMs de gerar respostas baseadas em documentos extensos.

Com o lançamento do FACTS Grounding, os pesquisadores também disponibilizaram um FACTS leaderboard na comunidade de ciência de dados Kaggle. O modelo Gemini 2.0 Flash lidera atualmente a tabela com uma pontuação de factualidade de 83.6%. Outros modelos notáveis que se destacam incluem Gemini 1.0 Flash e OpenAI's GPT-4o, todos com pontuações acima de 61.7%.

O FACTS dataset é composto por 1.719 exemplos, incluindo prompts e documentos contextuais, exigindo que os LLMs criem respostas longas, detalhadas e factuais. Para garantir que as respostas sejam precisas, os pesquisadores implementaram uma avaliação em duas fases.

O benchmark será continuamente atualizado para incluir novos modelos.
Os modelos são avaliados em dois estágios.
A inclusão de documentos variados para garantir diversidade nas respostas.
A pontuação de factualidade é determinada por uma média de três modelos avaliadores.
Os pesquisadores destacam a importância da factualidade para o futuro dos LLMs.

A pesquisa afirma que a combinação de diferentes avaliadores é crucial para mitigar os vieses entre os modelos. A implementação do FACTS Grounding é considerada um passo importante para melhorar a precisão e a utilidade dos LLMs no futuro da inteligência artificial.

- Melhoria da precisão nos LLMs. - Redução das alucinações em respostas. - Avaliação contínua e atualizações dos modelos. - Importância da diversidade nas entradas.

A pesquisa conclui que a factualidade e a capacidade de contextualização são fundamentais para a evolução dos modelos de linguagem. Para os leitores interessados em inteligência artificial e suas aplicações, é essencial acompanhar essas inovações e como elas impactam a interação humana com a tecnologia.

O lançamento do FACTS Grounding pelos pesquisadores do Google DeepMind representa um avanço significativo no desafio da factualidade em modelos de linguagem, prometendo melhorar a precisão das respostas fornecidas por esses sistemas. Para não perder nenhuma atualização sobre o desenvolvimento da inteligência artificial, inscreva-se em nossa newsletter e receba conteúdos frescos diariamente.