A Harvey lançou, em 29 de agosto de 2023, a BigLaw Bench, uma versão pública de seu conjunto de dados interno voltado para a avaliação de modelos de linguagem (LLMs) em tarefas jurídicas. Esta nova estrutura visa mensurar quantitativamente o desempenho de LLMs em atividades jurídicas do mundo real, correndo em paralelo a trabalhos anteriores que abordam o raciocínio jurídico em contextos mais estruturados.

Os resultados iniciais revelam que os modelos proprietários da Harvey superam consideravelmente os LLMs disponíveis publicamente, com uma capacidade de produção que atinge 74% da qualidade esperada de um trabalho jurídico por um especialista. Entretanto, o estudo também aponta que todos os modelos apresentam considerável espaço para melhorias, especialmente em tarefas que exigem um maior nível de complexidade e nuance.

A metodologia de avaliação empregada pela equipe de pesquisa da Harvey consiste em rubricas personalizadas, que estabelecem critérios objetivos necessários para a realização eficaz de cada tarefa. Essas rubricas consideram falhas comuns dos LLMs, como tom incorreto ou desvio do tema, e desenvolvem critérios de pontuação que impactam a utilidade do trabalho gerado pelo modelo.

1. A BigLaw Bench se concentra em tarefas jurídicas reais, como análise de documentos e elaboração de contratos.

2. Os modelos da Harvey se destacam em tarefas de estratégia corporativa e aconselhamento jurídico.

3. O estudo sugere que a colaboração com parceiros do setor é fundamental para avançar na qualidade das avaliações.

4. A pontuação de resposta mede a porcentagem de produção que corresponde à qualidade esperada.

5. A pontuação de fontes é independente e avalia a rastreabilidade das informações fornecidas pelo modelo.

Os resultados indicam que, apesar do progresso significativo, ainda existem limitações na capacidade dos LLMs de realizar tarefas jurídicas complexas. A Harvey planeja expandir suas avaliações para incluir uma gama mais ampla de tarefas que os advogados realizam, visando uma colaboração mais estreita com a indústria para padronizar benchmarks de avaliação.

A BigLaw Bench representa um avanço significativo na forma como os modelos de linguagem são avaliados em tarefas jurídicas, demonstrando tanto seu potencial quanto a necessidade de melhorias contínuas. Com a crescente integração da inteligência artificial no setor jurídico, é essencial acompanhar o desenvolvimento de ferramentas que possam realmente agregar valor. Para mais atualizações sobre tecnologias emergentes, inscreva-se em nossa newsletter e fique por dentro de conteúdos relevantes diários.

FONTES:

1. Harvey AI

2. GitHub BigLaw Bench