Os modelos de linguagem (LLMs) são frequentemente criticados pela produção de 'hallucinations', que se referem à capacidade de criar conteúdos falsos que parecem plausíveis. Essas incertezas levantam preocupações sobre a confiança em análises e insights gerados por essas máquinas, mesmo quando as alucinações são raras. O artigo apresenta a definição de hallucinations utilizada pela equipe Harvey, que considera uma alegação factual que pode ser demonstravelmente refutada por fontes de verdade.

A Harvey aplica técnicas de redução de hallucinations, como a geração aumentada por recuperação (RAG), que ancoram as respostas dos modelos em documentos ou fontes de dados precisos. Entretanto, mesmo com a inclusão de material de verdade, ainda existe a possibilidade de alucinações. Para medir e mitigar essas ocorrências, a equipe desenvolveu um sistema de modelos que analisa as respostas, dividindo-as em alegações factuais e verificando sua veracidade.

O artigo apresenta dados que quantificam a taxa de hallucinations em diversos modelos, mostrando que o modelo Assistant da Harvey teve uma taxa de apenas 0,2%, enquanto outros como Claude (0,7%) e ChatGPT (1,3%) apresentam taxas maiores. A Harvey se propõe a desenvolver agentes que não apenas detectem, mas também corrijam essas alucinações de forma proativa, visando aumentar a confiança nos resultados gerados.

1. Definição de hallucinations como alegações factuais refutáveis.

2. Uso de recuperação aumentada por geração para ancorar respostas.

3. Sistema de modelos para detectar e medir hallucinations.

4. Taxas de hallucinations em modelos da Harvey em comparação com outros.

5. Desenvolvimento futuro de agentes que corrijam hallucinations proativamente.

A análise profunda dos dados revela a eficácia dos métodos da Harvey em comparação com os concorrentes. A taxa de hallucinations reduzida e o enfoque em melhorar a confiança nas respostas geradas podem ter um impacto significativo em como os profissionais do direito utilizam essas tecnologias.

- Aumento da confiança em análises jurídicas. - Melhoria na qualidade das interações com modelos de linguagem. - Desenvolvimento de agentes mais inteligentes. - Potencial para aplicação em outras áreas além do direito.

A busca contínua por soluções para reduzir as hallucinations é vital para o avanço dos LLMs, especialmente em campos que exigem precisão e confiabilidade, como o direito. A Harvey demonstra um compromisso em desenvolver agentes que façam essa diferenciação, o que pode levar a uma nova era de interações com sistemas de inteligência artificial.

Em suma, a abordagem inovadora da Harvey para a redução de hallucinations em modelos de linguagem pode transformar a confiança em sistemas de IA no setor jurídico. Acompanhe nossas publicações diárias e inscreva-se na nossa newsletter para mais conteúdos atualizados sobre tecnologia e direito.

FONTES:

1. Harvey Team