Harvey, det juridiske AI-selskapet, har lansert LAB, en åpen kildekode-referansetest designet for å måle hvor godt kunstig intelligens håndterer juridisk arbeid. Det nye evalueringsverktøyet dekker 24 praksisområder og inneholder over 1 200 individuelle oppgaver, og gir en måte å sammenligne AI-systemer direkte.
Hva referansetesten dekker
LAB tester ikke bare én type juridisk arbeid. Den dekker et bredt spekter – fra selskapstransaksjoner til rettssaker, regulatorisk etterlevelse til immaterielle rettigheter. Hver oppgave er utformet for å etterligne en reell juridisk oppgave, som å utforme en klausul, oppsummere en sak eller identifisere en risiko i en kontrakt. De 24 praksisområdene betyr at referansetesten kan vurdere både generell juridisk kunnskap og spesialisert ekspertise.
Hvorfor en åpen kildekode-standard er viktig
Akkurat nå finnes det ingen allment akseptert måte å bedømme juridisk AI på. Ulike selskaper kjører sine egne tester, og holder ofte resultatene private. Harveys LAB er åpen kildekode, så alle kan inspisere oppgavene, kjøre testene og sende inn resultater. Denne åpenheten kan hjelpe advokatfirmaer, interne juridiske team og tilsynsmyndigheter med å gjøre bedre sammenligninger. Det lar også det juridiske teknologimiljøet bidra med nye oppgaver og praksisområder over tid.
Potensiell innvirkning på den juridiske bransjen
For advokatfirmaer som vurderer AI-verktøy, gir LAB en konsistent målestokk. I stedet for å stole på leverandørenes påstander eller begrensede demonstrasjoner, kan de kjøre referansetesten selv. Det kan fremskynde adopsjon – eller avsløre hull i dagens systemer. For AI-utviklere fremhever referansetesten hvor modellene sliter, og presser dem til å forbedre seg. Harvey selv bruker LAB internt, men å gjøre det offentlig inviterer til bredere gransking og samarbeid.
Hva skjer videre
Referansetesten er tilgjengelig nå på GitHub under en åpen kildekode-lisens. Harvey sier de planlegger å oppdatere LAB jevnlig, og legge til nye oppgaver etter hvert som juridisk arbeid utvikler seg. Det store spørsmålet er om andre juridiske AI-selskaper vil ta i bruk referansetesten – eller bygge sine egne. Uten bred tilslutning er verdien av en enkelt referansetest begrenset. Foreløpig gir LAB den juridiske bransjen et sted å starte målingen av AI-ytelse, oppgave for oppgave.
