OpenAI hat einen detaillierten Leitfaden für unabhängige Forscher und Organisationen veröffentlicht, die mit der Prüfung seiner fortschrittlichsten Künstliche-Intelligenz-Systeme beauftragt sind. Der in dieser Woche veröffentlichte Leitfaden legt fest, wie externe Prüfer KI-Modelle der Spitzenklasse bewerten sollen – die leistungsstarken, allgemeinen Systeme an der Spitze des Fachgebiets.
Was der Leitfaden abdeckt
Das Dokument konzentriert sich auf drei Säulen: Sicherheitsvorkehrungen, Validität und strukturierte Testumgebungen. Sicherheitsvorkehrungen beziehen sich auf Maßnahmen, die Prüfer befolgen müssen, um unbeabsichtigte Folgen während des Testens zu verhindern. Validität stellt sicher, dass Tests tatsächlich das messen, was sie vorgeben – dass Ergebnisse reproduzierbar und aussagekräftig sind. Strukturierte Testumgebungen sind die technischen Rahmenwerke, die es Prüfern ermöglichen, standardisierte, kontrollierte Experimente mit den Modellen durchzuführen.
OpenAI verfolgt das Ziel, externe Bewertungen konsistent und vertrauenswürdig zu gestalten. Das Unternehmen hat schon lange externe Forscher eingeladen, seine Modelle zu untersuchen, aber dies ist das erste Mal, dass es eine formelle, schrittweise Anleitung für den Prozess bereitstellt. Der Leitfaden soll Unklarheiten beseitigen und Prüfern helfen, häufige Fallstricke zu vermeiden, wie etwa das versehentliche Trainieren des Modells während eines Tests oder das Fehlinterpretieren von Ausgaben.
Warum strukturierte Tests wichtig sind
KI-Modelle der Spitzenklasse können eine Vielzahl von Aufgaben ausführen – vom Schreiben von Code bis zur Erstellung realistischer Bilder – was sie schwer umfassend zu bewerten macht. Ein einfacher Chat-basierter Test könnte subtile Risiken übersehen, wie die Fähigkeit des Modells zu manipulieren oder zu täuschen. OpenAIs Leitfaden versucht dem entgegenzuwirken, indem er Prüfer zu strengeren, modularen Testaufbauten drängt.
Das Unternehmen wurde in der Vergangenheit dafür kritisiert, sich zu sehr auf interne Tests zu verlassen. Externe Audits sind zu einer zentralen Forderung von Politikern und Sicherheitsbefürwortern geworden. Durch die Bereitstellung eines standardisierten Leitfadens möchte OpenAI zeigen, dass es die unabhängige Überwachung ernst nimmt – und dass es eine Grundlage für den Rest der Branche schaffen will.
Das Unternehmen hat erklärt, dass der Leitfaden dazu dienen soll, externen Prüfern vergleichbare Fähigkeiten wie den internen Teams zu geben.
Für Forscher und Prüfungsunternehmen bedeutet der Leitfaden, dass sie nicht mehr bei Null anfangen müssen. Er enthält Vorlagen für Testpläne, Anleitungen zum Umgang mit Daten und Checklisten zur Dokumentation der Ergebnisse. OpenAI gibt an, dass der Leitfaden als lebendiges Dokument konzipiert ist – er wird aktualisiert, sobald sich die Modelle weiterentwickeln und die Gemeinschaft lernt, was funktioniert.
Der Leitfaden behandelt auch ethische Bedenken. Prüfer werden angewiesen, Tests zu vermeiden, die Menschen schaden oder die Privatsphäre verletzen könnten, und alle gefährlichen Fähigkeiten, die sie entdecken, sofort zu melden. Diese Meldekette ist ein entscheidender Teil des Prozesses: OpenAI möchte von Problemen erfahren, bevor sie öffentlich werden.
Einige Beobachter haben angemerkt, dass der Leitfaden freiwillig ist – Dritte sind nicht verpflichtet, ihn zu befolgen. Aber OpenAI hofft, dass er durch die Bereitstellung einer klaren, gut durchdachten Methodik zum De-facto-Standard für Bewertungen von KI-Modellen der Spitzenklasse wird. Das Unternehmen arbeitet auch an automatisierten Werkzeugen, die helfen könnten, die Regeln des Leitfadens durchzusetzen.
Als Nächstes plant OpenAI, den Leitfaden später in diesem Jahr zur öffentlichen Kommentierung freizugeben und eine Version zu veröffentlichen, die auf kleinere, weniger leistungsfähige Modelle zugeschnitten ist. Das Unternehmen hat noch nicht bekannt gegeben, wann die erste Charge formeller Drittanbieter-Bewertungen unter Verwendung des Leitfadens veröffentlicht wird.
