Harvey, oikeudellinen tekoäly-yritys, on julkaissut LAB-vertailuarvon, joka on suunniteltu mittaamaan, kuinka hyvin tekoäly suoriutuu juridisista tehtävistä. Uusi arviointityökalu kattaa 24 oikeuden alaa ja yli 1 200 yksittäistä tehtävää, tarjoten tavan verrata tekoälyjärjestelmiä keskenään.
Mitä vertailuarvo kattaa
LAB ei testaa vain yhtä lainopillisen työn tyyppiä. Se kattaa laajan kirjon — yritysjärjestelyistä oikeudenkäynteihin, sääntelyvaatimusten noudattamisesta immateriaalioikeuksiin. Jokainen tehtävä on suunniteltu jäljittelemään todellista juridista toimeksiantoa, kuten lausekkeen laatimista, tapauksen tiivistämistä tai sopimuksen riskin tunnistamista. 24 oikeuden alaa mahdollistavat vertailuarvon arvioida sekä yleistä juridista tietämystä että erikoistunutta asiantuntemusta.
Miksi avoimen lähdekoodin standardi on tärkeä
Tällä hetkellä ei ole laajalti hyväksyttyä tapaa arvioida oikeudellista tekoälyä. Eri yritykset suorittavat omia testejään, usein pitäen tulokset yksityisinä. Harveyn LAB on avoimen lähdekoodin, joten kuka tahansa voi tarkastaa tehtävät, suorittaa testit ja lähettää tulokset. Tämä läpinäkyvyys voi auttaa lakitoimistoja, yritysten oikeudellisia tiimejä ja sääntelyviranomaisia tekemään parempia vertailuja. Se myös antaa oikeusteknologiayhteisölle mahdollisuuden lisätä uusia tehtäviä ja oikeudenaloja ajan myötä.
Mahdolliset vaikutukset oikeusalalle
Lakitoimistoille, jotka arvioivat tekoälytyökaluja, LAB tarjoaa yhtenäisen mittapuun. Sen sijaan, että ne luottaisivat myyjien väitteisiin tai rajallisiin demoihin, ne voivat suorittaa vertailuarvon itse. Tämä voi nopeuttaa käyttöönottoa — tai paljastaa puutteita nykyisissä järjestelmissä. Tekoälykehittäjille vertailuarvo osoittaa, missä mallit kamppailevat, kannustaen parannuksiin. Harvey itse käyttää LABia sisäisesti, mutta sen julkistaminen kutsuu laajempaa arviointia ja yhteistyötä.
Mitä seuraavaksi
Vertailuarvo on nyt saatavilla GitHubissa avoimen lähdekoodin lisenssillä. Harvey sanoo suunnittelevansa päivittävänsä LABia säännöllisesti lisäämällä uusia tehtäviä oikeudellisen työn kehittyessä. Suuri kysymys on, ottavatko muut oikeudellisen tekoälyn yritykset vertailuarvon käyttöön — vai rakentavatko ne omansa. Ilman laajaa sitoutumista yhdenkään vertailuarvon arvo on rajallinen. Toistaiseksi LAB antaa oikeusalalle paikan aloittaa tekoälyn suorituskyvyn mittaaminen, tehtävä kerrallaan.
