A Lenz Research új tanulmánya szerint a mesterséges intelligencia modellek az állítások 67%-ában nem értenek egyet a tényellenőrzés során, ami megkérdőjelezi az automatizált ellenőrző rendszerek megbízhatóságát. Az előzetes bejelentés nélkül közzétett eredmények arra utalnak, hogy még a fejlett AI-eszközök is gyakran ellentmondanak egymásnak, amikor az igazság megállapítására kapnak feladatot. A tanulmány kutatói hangsúlyozzák a sokféle forrás és az emberi felügyelet szükségességét a döntéshozatalban, különösen a gyorsan változó területeken, mint például a pénzügyi piacok.
Az eltérés mértéke
A 67%-os arány megdöbbentő. Ez azt jelenti, hogy minden három különböző AI-modellekkel lefuttatott tényellenőrzési állítás közül kettő ellentmondó ítéletet hoz. A Lenz Research nem határozta meg, hogy mely modelleket tesztelték, vagy az állítások természetét, de a következtetés egyértelmű: egyetlen AI-rendszer sem bízható meg, hogy önállóan elválassza a tényeket a fikciótól. Az eltérési arány rámutat a modellek betanításának, a felhasznált adatoknak és az alapul szolgáló logikának az alapvető különbségeire.
A volatilis piacokon, ahol a pletykák másodpercek alatt mozdíthatják el az árakat, nagy a tét. Egy olyan kereskedő, aki egy AI tényellenőrzőre hagyatkozik, olyan címke alapján cselekedhet, amelyet egy másik modell elutasítana. A tanulmány szerzői kifejezetten említik a “volatilis piacokat” olyan kontextusként, ahol a sokféle forrás és az emberi ítélet kritikus fontosságúvá válik. Az automatizált eszközök hatalmas mennyiségeket tudnak feldolgozni, de nem képesek feloldani saját ellentmondásaikat emberi részvétel nélkül.
Mit sugall a tanulmány
A Lenz Research ajánlása egyértelmű: ne támaszkodjunk egyetlen AI-forrásra. Ehelyett ellenőrizzük keresztben a kimeneteket, vonjunk be emberi ellenőrzőket, és kezeljük az automatizált tényellenőrzéseket csak egy bemenetként a sok közül. Ez nem a technológia elvetésére való felhívás – hanem figyelmeztetés a túlzott önbizalom ellen. A tanulmány nem kínál megoldást az eltérés problémájára, de erősen érvel amellett, hogy az embereket továbbra is bevonjuk.
Az eredmények egyre növekvő bizonyítékhalmazt erősítenek, miszerint az AI sebessége ellenére továbbra is küzd a konzisztenciával. A Lenz Research nem jelezte, hogy tervezi-e a modellek eltérésének okainak mélyebb elemzését vagy azok összehangolását. Egyelőre az üzenet egyszerű: amikor a gépek nem értenek egyet, a döntés az embereké.
