Nowe badanie przeprowadzone przez Lenz Research wykazało, że modele sztucznej inteligencji są sprzeczne w 67% przypadków dotyczących weryfikacji faktów, co podważa niezawodność zautomatyzowanych systemów weryfikacji. Wyniki, opublikowane bez wcześniejszego ogłoszenia, wskazują, że nawet zaawansowane narzędzia AI często wzajemnie sobie zaprzeczają, gdy mają za zadanie ustalić prawdę. Autorzy badania podkreślają konieczność korzystania z różnorodnych źródeł i nadzoru człowieka przy podejmowaniu decyzji, szczególnie w szybko zmieniających się obszarach, takich jak rynki finansowe.
Skala niezgodności
Wskaźnik 67% jest uderzający. Oznacza to, że na każde trzy twierdzenia poddane weryfikacji przez różne modele AI, dwa kończą się sprzecznymi werdyktami. Lenz Research nie sprecyzowało, które modele testowano ani jakiego rodzaju były to twierdzenia, ale implikacja jest jasna: żaden pojedynczy system AI nie może być samodzielnie uznany za wiarygodny w odróżnianiu faktów od fikcji. Wysoki odsetek niezgodności wskazuje na fundamentalne różnice w sposobie trenowania modeli, danych, z których korzystają, oraz ich podstawowej logice.
Na zmiennych rynkach, gdzie plotki mogą przesuwać ceny w ciągu sekund, stawka jest wysoka. Trader polegający na weryfikatorze faktów opartym na AI może działać na podstawie etykiety, którą inny model by odrzucił. Autorzy badania wyraźnie wymieniają „zmienne rynki” jako kontekst, w którym różnorodność źródeł i ludzki osąd stają się kluczowe. Zautomatyzowane narzędzia mogą przetwarzać ogromne ilości danych, ale nie są w stanie rozwiązać własnych sprzeczności bez udziału człowieka.
Co sugeruje badanie
Zalecenie Lenz Research jest proste: nie opieraj się na pojedynczym źródle AI. Zamiast tego krzyżuj dane wyjściowe, angażuj recenzentów-ludzi i traktuj automatyczne weryfikacje faktów jako jeden z wielu wkładów. Nie jest to wezwanie do porzucenia technologii – to ostrzeżenie przed nadmierną pewnością siebie. Badanie nie oferuje rozwiązania problemu niezgodności, ale mocno argumentuje za utrzymaniem udziału człowieka.
Wyniki te dołączają do rosnącej liczby dowodów na to, że AI, mimo swojej szybkości, wciąż ma problemy z konsekwencją. Lenz Research nie poinformowało, czy planuje dalszą analizę przyczyn niezgodności modeli ani jak je ujednolicić. Na razie przesłanie jest proste: gdy maszyny nie mogą się zgodzić, decyzja należy do ludzi.
