Harvey, das Legal-KI-Unternehmen, hat LAB veröffentlicht, einen Open-Source-Benchmark, der messen soll, wie gut künstliche Intelligenz juristische Arbeit bewältigt. Das neue Bewertungstool umfasst 24 Praxisbereiche und enthält mehr als 1.200 einzelne Aufgaben. Es bietet eine Möglichkeit, KI-Systeme direkt miteinander zu vergleichen.
Was der Benchmark abdeckt
LAB testet nicht nur eine Art von Rechtsarbeit. Es deckt ein breites Spektrum ab – von Unternehmenstransaktionen über Prozessführung bis hin zu regulatorischer Compliance und geistigem Eigentum. Jede Aufgabe ist so gestaltet, dass sie einen echten juristischen Auftrag nachahmt, wie das Verfassen einer Klausel, die Zusammenfassung eines Falles oder die Identifizierung eines Risikos in einem Vertrag. Die 24 Praxisbereiche ermöglichen es dem Benchmark, sowohl allgemeines juristisches Wissen als auch spezialisierte Fachkenntnisse zu bewerten.
Warum ein Open-Source-Standard wichtig ist
Derzeit gibt es keine allgemein anerkannte Methode, um Legal-KI zu beurteilen. Verschiedene Unternehmen führen eigene Tests durch, deren Ergebnisse oft nicht veröffentlicht werden. Harveys LAB ist Open-Source, sodass jeder die Aufgaben einsehen, die Tests durchführen und Ergebnisse einreichen kann. Diese Transparenz könnte Kanzleien, internen Rechtsabteilungen und Regulierungsbehörden helfen, bessere Vergleiche anzustellen. Außerdem ermöglicht sie der Legal-Tech-Community, im Laufe der Zeit neue Aufgaben und Praxisbereiche beizutragen.
Mögliche Auswirkungen auf die Rechtsbranche
Für Kanzleien, die KI-Tools bewerten, bietet LAB einen einheitlichen Maßstab. Anstatt sich auf Herstellerangaben oder begrenzte Demos zu verlassen, können sie den Benchmark selbst durchführen. Das könnte die Einführung beschleunigen – oder Lücken in aktuellen Systemen aufdecken. Für KI-Entwickler hebt der Benchmark hervor, wo Modelle Schwierigkeiten haben, und fördert so Verbesserungen. Harvey selbst verwendet LAB intern, aber die öffentliche Verfügbarkeit lädt zu breiterer Prüfung und Zusammenarbeit ein.
Was als Nächstes kommt
Der Benchmark ist ab sofort auf GitHub unter einer Open-Source-Lizenz verfügbar. Harvey gibt an, LAB regelmäßig aktualisieren zu wollen und neue Aufgaben hinzuzufügen, sobald sich die juristische Arbeit weiterentwickelt. Die große Frage ist, ob andere Legal-KI-Unternehmen den Benchmark übernehmen – oder eigene entwickeln. Ohne breite Akzeptanz ist der Wert eines einzelnen Benchmarks begrenzt. Vorerst gibt LAB der Rechtsbranche einen Ausgangspunkt, um die KI-Leistung Aufgabe für Aufgabe zu messen.
