OpenAI har offentliggjort en detaljeret guide for uafhængige forskere og organisationer, der har til opgave at teste dets mest avancerede kunstige intelligenssystemer. Guiden, der blev offentliggjort denne uge, beskriver, hvordan tredjepartsevaluatorer bør vurdere frontlinje-AI-modeller – de kraftfulde, alsidige systemer i frontlinjen af feltet.
Hvad guiden dækker
Dokumentet fokuserer på tre søjler: sikkerhedsforanstaltninger, validitet og strukturerede testrammer. Sikkerhedsforanstaltninger refererer til de sikkerhedsforanstaltninger, som evaluatorer skal følge for at forhindre utilsigtede konsekvenser under testning. Validitet sikrer, at testene faktisk måler, hvad de hævder – at resultaterne er reproducerbare og meningsfulde. Strukturerede testrammer er de tekniske rammer, der gør det muligt for evaluatorer at køre standardiserede, kontrollerede eksperimenter på modellerne.
OpenAIs mål er at gøre eksterne evalueringer konsistente og troværdige. Virksomheden har længe inviteret eksterne forskere til at undersøge sine modeller, men det er første gang, den tilbyder en formel, trin-for-trin-guide til processen. Guiden er beregnet til at reducere tvetydighed og hjælpe evaluatorer med at undgå almindelige faldgruber, såsom utilsigtet at træne modellen under testen eller fejlfortolke output.
Hvorfor struktureret testning er vigtig
Frontlinje-AI-modeller kan udføre en bred vifte af opgaver – fra at skrive kode til at generere realistiske billeder – hvilket gør dem vanskelige at evaluere omfattende. En simpel chat-baseret test kan overse subtile risici, såsom modellens evne til at manipulere eller bedrage. OpenAIs guide forsøger at adressere dette ved at presse evaluatorer mod mere stringente, modulære testopsætninger.
Virksomheden har tidligere været udsat for kritik for at stole for meget på interne test. Eksterne revisioner er blevet et centralt krav fra politiske beslutningstagere og sikkerhedsfortalere. Ved at tilbyde en standardguide ønsker OpenAI at vise, at det er seriøst omkring uafhængigt tilsyn – og at det ønsker at sætte en baseline for resten af branchen.
OpenAI har udtalt, at guiden er designet til at give eksterne evaluatorer tilsvarende værktøjer og viden som dets interne teams.
For forskere og revisionsfirmaer betyder guiden, at de ikke længere behøver at starte fra bunden. Den inkluderer skabeloner til testplaner, vejledning om datahåndtering og tjeklister til dokumentation af resultater. OpenAI siger, at guiden er beregnet til at være et levende dokument – den vil blive opdateret, efterhånden som modellerne udvikler sig, og efterhånden som fællesskabet lærer, hvad der virker.
Guiden adresserer også etiske bekymringer. Evaluatorer får besked på at undgå test, der kan skade mennesker eller krænke privatlivets fred, og straks rapportere enhver farlig kapacitet, de opdager. Denne rapporteringskanal er en kritisk del af processen: OpenAI ønsker at kende til problemer, før de bliver offentlige.
Nogle observatører har bemærket, at guiden er frivillig – tredjeparter er ikke forpligtet til at følge den. Men OpenAI håber, at ved at tilbyde en klar, velskrevet metodologi, vil den blive de facto-standarden for frontlinje-AI-evalueringer. Virksomheden arbejder også på automatiserede værktøjer, der kan hjælpe med at håndhæve guidens regler.
Næste skridt: OpenAI planlægger at åbne guiden for offentlige kommentarer senere i år og udgive en version tilpasset mindre, mindre kraftfulde modeller. Virksomheden har endnu ikke sagt, hvornår den første batch af formelle tredjepartsevalueringer ved hjælp af guiden vil blive offentliggjort.
