Harvey, l'azienda di IA legale, ha rilasciato LAB, un benchmark open-source progettato per misurare quanto bene l'intelligenza artificiale gestisca il lavoro legale. Il nuovo strumento di valutazione copre 24 aree di pratica e include oltre 1.200 compiti individuali, offrendo un modo per confrontare i sistemi di IA testa a testa.
Cosa copre il benchmark
LAB non testa un solo tipo di attività legale. Copre un ampio spettro — dalle transazioni societarie al contenzioso, dalla conformità normativa alla proprietà intellettuale. Ogni compito è progettato per simulare un incarico legale reale, come redigere una clausola, riassumere un caso o identificare un rischio in un contratto. Le 24 aree di pratica consentono al benchmark di valutare sia la conoscenza legale generale che l'esperienza specialistica.
Perché uno standard open-source è importante
Al momento, non esiste un modo ampiamente accettato per giudicare l'IA legale. Diverse aziende eseguono i propri test, spesso mantenendo i risultati privati. Il LAB di Harvey è open-source, quindi chiunque può ispezionare i compiti, eseguire i test e inviare i risultati. Questa trasparenza potrebbe aiutare studi legali, team legali interni e regolatori a fare confronti migliori. Consente inoltre alla comunità del legal tech di contribuire con nuovi compiti e aree di pratica nel tempo.
Potenziale impatto sul settore legale
Per gli studi legali che valutano strumenti di IA, LAB fornisce un metro di misura coerente. Invece di fare affidamento sulle dichiarazioni dei venditori o su demo limitate, possono eseguire il benchmark da soli. Ciò potrebbe accelerare l'adozione — o rivelare lacune nei sistemi attuali. Per gli sviluppatori di IA, il benchmark evidenzia dove i modelli hanno difficoltà, spingendoli a migliorare. Harvey stesso utilizza LAB internamente, ma renderlo pubblico invita a un controllo più ampio e alla collaborazione.
Quali sono i prossimi passi
Il benchmark è ora disponibile su GitHub con licenza open-source. Harvey afferma di voler aggiornare LAB regolarmente, aggiungendo nuovi compiti man mano che il lavoro legale evolve. La grande domanda è se altre aziende di IA legale adotteranno il benchmark — o ne costruiranno uno proprio. Senza un'adozione diffusa, il valore di un singolo benchmark è limitato. Per ora, LAB offre al settore legale un punto di partenza per misurare le prestazioni dell'IA, compito per compito.
