En ny studie från Lenz Research har visat att artificiella intelligensmodeller är oense om 67 % av faktakontrollpåståenden, vilket väcker tvivel om tillförlitligheten hos automatiserade verifieringssystem. Resultaten, som publicerades utan förvarning, tyder på att även avancerade AI-verktyg ofta motsäger varandra när de ska avgöra vad som är sant. Forskarna bakom studien betonar behovet av olika källor och mänsklig tillsyn i beslutsfattande, särskilt inom snabbrörliga områden som finansmarknader.
Omfattningen av oenigheten
Siffran 67 % är slående. Det innebär att av var tredje faktakontrollpåstående som körs genom olika AI-modeller slutar två med motstridiga utslag. Lenz Research specificerade inte vilka modeller som testades eller påståendenas natur, men implikationen är tydlig: inget enskilt AI-system kan på egen hand lita på för att skilja fakta från fiktion. Oenighetsgraden pekar på grundläggande skillnader i hur modellerna tränas, vilken data de använder och deras underliggande logik.
På volatila marknader, där rykten kan flytta priser på några sekunder, är insatserna höga. En handlare som förlitar sig på en AI-faktakontrollant kan agera på en etikett som en annan modell skulle avvisa. Studiens författare nämner uttryckligen ”volatila marknader” som ett sammanhang där olika källor och mänskligt omdöme blir avgörande. Automatiserade verktyg kan hantera stora volymer, men de kan inte lösa sina egna motsägelser utan en människa i loopen.
Vad studien antyder
Rekommendationen från Lenz Research är enkel: förlita dig inte på en enda AI-källa. Korskontrollera istället resultat, ta in mänskliga granskare och behandla automatiserade faktakontroller som en av flera inputs. Detta är inte en uppmaning att överge tekniken – det är en varning mot överdriven tilltro. Studien erbjuder ingen lösning på oenighetsproblemet, men den argumenterar starkt för att hålla människor involverade.
Resultaten lägger sig i en växande mängd bevis för att AI, trots sin snabbhet, fortfarande kämpar med konsekvens. Lenz Research har inte indikerat om de planerar att följa upp med en djupare analys av varför modellerna är oense eller hur de ska anpassas. För tillfället är budskapet enkelt: när maskinerna inte kan komma överens, tillhör beslutet människorna.
