O novo conjunto de dados do BigLaw Bench foi criado para avaliar e aprimorar agentes de fluxo de trabalho legal, começando com a extração de pontos de negociação de SPAs. A equipe de pesquisa legal da Harvey revisou diversos SPAs para compor um conjunto representativo, que agora está disponível publicamente.

Os modelos de linguagem padrão enfrentam desafios significativos ao lidar com a complexidade dos SPAs, especialmente na identificação de elementos como o limite de indenização. A Harvey desenvolveu um sistema que combina múltiplos modelos de linguagem com técnicas tradicionais de aprendizado de máquina, permitindo uma extração mais eficaz dos dados.

1. A precisão do sistema da Harvey é de 98,47%.

2. Modelos como GPT-4o e Gemini apresentam precisão de 66,04% a 72,27%.

3. O sistema é projetado para fornecer raciocínio transparente e fontes para cada ponto extraído.

A avaliação do sistema foi realizada em um conjunto de SPAs não utilizados no desenvolvimento do agente, garantindo a generalização dos processos. A Harvey planeja expandir o BigLaw Bench para incluir mais fluxos de trabalho e tarefas complexas.

- A Harvey busca inspirar clientes atuais e futuros com suas metodologias. - A empresa continua a coletar feedback para melhorar seus esquemas de dados.

A iniciativa da Harvey representa um passo significativo em direção a benchmarks mais rigorosos na indústria jurídica, promovendo a transparência e a precisão na extração de dados de documentos complexos.

Os avanços na extração de dados de SPAs não apenas melhoram a precisão dos processos legais, mas também estabelecem novos padrões para a indústria, potencialmente transformando a forma como os documentos são analisados e interpretados.

FONTES:

1. Harvey AI

2. Harvey AI

3. Harvey AI