O BigLaw Bench é um framework que avalia quantitativamente como modelos de linguagem lidam com tarefas legais do mundo real. Um dos principais indicadores de desempenho é a "pontuação de fonte", que mede a capacidade de um modelo de conectar suas respostas a documentos relevantes. A Harvey investiu consideravelmente na otimização da referência a fontes, resultando em seus modelos superando outros em termos de precisão na citação.

As fontes são essenciais no trabalho legal, pois aumentam a confiança do usuário e facilitam a navegação em documentos complexos. A Harvey identificou que, para uma fonte ser eficaz, ela precisa se conectar a um trecho específico de um documento. No entanto, essa tarefa apresenta desafios técnicos significativos, como a necessidade de especificidade e singularidade nas referências.

1. A pontuação de fonte é derivada da identificação de afirmações que requerem verificação e se o modelo fornece uma fonte válida.

2. Fontes válidas conectam afirmações a documentos específicos que as sustentam.

3. A Harvey está desenvolvendo soluções para melhorar a qualidade das fontes sem comprometer a qualidade das respostas.

A empresa utiliza sistemas de múltiplos modelos para gerar respostas que incluem raciocínio detalhado e fontes abrangentes, permitindo que os usuários acessem passagens específicas que apoiam as afirmações feitas.

A importância das fontes vai além da confiabilidade atual, pois elas serão fundamentais para a comunicação entre modelos em sistemas mais complexos no futuro, mitigando riscos de informações distorcidas.

A Harvey está na vanguarda da integração de referências precisas em modelos de linguagem, o que não só melhora a confiança nas análises legais geradas por IA, mas também prepara o terreno para sistemas mais eficazes e escaláveis no futuro.

FONTES:

1. Harvey