A Harvey, empresa de IA jurídica, lançou o LAB, um benchmark de código aberto projetado para medir o quão bem a inteligência artificial lida com o trabalho jurídico. A nova ferramenta de avaliação abrange 24 áreas de prática e inclui mais de 1.200 tarefas individuais, oferecendo uma forma de comparar sistemas de IA lado a lado.
O que o Benchmark Abrange
O LAB não testa apenas um tipo de prática jurídica. Ele cobre um amplo espectro — desde transações corporativas até litígios, conformidade regulatória e propriedade intelectual. Cada tarefa é projetada para imitar uma atribuição jurídica real, como redigir uma cláusula, resumir um caso ou identificar um risco em um contrato. As 24 áreas de prática significam que o benchmark pode avaliar tanto o conhecimento jurídico geral quanto a expertise especializada.
Por que um Padrão de Código Aberto é Importante
No momento, não existe uma forma amplamente aceita de julgar a IA jurídica. Diferentes empresas executam seus próprios testes, muitas vezes mantendo os resultados privados. O LAB da Harvey é de código aberto, então qualquer pessoa pode inspecionar as tarefas, executar os testes e enviar resultados. Essa transparência pode ajudar escritórios de advocacia, equipes jurídicas internas e reguladores a fazer comparações melhores. Também permite que a comunidade de tecnologia jurídica contribua com novas tarefas e áreas de prática ao longo do tempo.
Impacto Potencial na Indústria Jurídica
Para escritórios de advocacia que avaliam ferramentas de IA, o LAB fornece uma métrica consistente. Em vez de confiar em alegações de fornecedores ou demonstrações limitadas, eles podem executar o benchmark por conta própria. Isso pode acelerar a adoção — ou revelar lacunas nos sistemas atuais. Para desenvolvedores de IA, o benchmark destaca onde os modelos têm dificuldades, incentivando melhorias. A própria Harvey usa o LAB internamente, mas torná-lo público convida a um escrutínio e colaboração mais amplos.
O que Vem a Seguir
O benchmark já está disponível no GitHub sob uma licença de código aberto. A Harvey afirma que planeja atualizar o LAB regularmente, adicionando novas tarefas à medida que o trabalho jurídico evolui. A grande questão é se outras empresas de IA jurídica adotarão o benchmark — ou criarão o seu próprio. Sem uma adesão generalizada, o valor de qualquer benchmark isolado é limitado. Por enquanto, o LAB dá à indústria jurídica um ponto de partida para medir o desempenho da IA, tarefa por tarefa.
