Sebuah studi baru dari Lenz Research menemukan bahwa model kecerdasan buatan tidak sepakat pada 67% klaim pemeriksaan fakta, menimbulkan keraguan pada keandalan sistem verifikasi otomatis. Temuan yang dirilis tanpa pengumuman sebelumnya ini menunjukkan bahwa bahkan alat AI canggih sering saling bertentangan ketika ditugaskan untuk menentukan kebenaran. Para peneliti di balik studi ini menekankan perlunya sumber yang beragam dan pengawasan manusia dalam pengambilan keputusan, terutama di area yang bergerak cepat seperti pasar keuangan.
Skala ketidaksepakatan
Angka 67% sangat mencolok. Artinya, dari setiap tiga klaim pemeriksaan fakta yang dijalankan melalui model AI yang berbeda, dua menghasilkan putusan yang bertentangan. Lenz Research tidak menyebutkan model mana yang diuji atau sifat klaimnya, tetapi implikasinya jelas: tidak ada satu sistem AI pun yang dapat dipercaya untuk memilah fakta dari fiksi sendirian. Tingkat ketidaksepakatan ini menunjukkan perbedaan mendasar dalam cara model dilatih, data yang mereka gunakan, dan logika dasarnya.
Di pasar yang volatil, di mana rumor dapat menggerakkan harga dalam hitungan detik, taruhannya tinggi. Seorang pedagang yang mengandalkan pemeriksa fakta AI mungkin bertindak berdasarkan label yang akan ditolak oleh model lain. Penulis studi secara eksplisit menyebut 'pasar yang volatil' sebagai konteks di mana sumber yang beragam dan penilaian manusia menjadi kritis. Alat otomatis dapat memproses volume besar, tetapi mereka tidak dapat menyelesaikan kontradiksi mereka sendiri tanpa campur tangan manusia.
Apa yang disarankan oleh studi
Rekomendasi dari Lenz Research cukup jelas: jangan hanya mengandalkan satu sumber AI. Sebaliknya, lakukan pemeriksaan silang terhadap keluaran, libatkan pengulas manusia, dan perlakukan pemeriksaan fakta otomatis sebagai salah satu masukan di antara banyak masukan. Ini bukan seruan untuk meninggalkan teknologi—ini adalah peringatan terhadap kepercayaan diri yang berlebihan. Studi ini tidak menawarkan solusi untuk masalah ketidaksepakatan, tetapi memberikan argumen kuat untuk tetap melibatkan manusia.
Temuan ini menambah tumpukan bukti yang semakin besar bahwa AI, dengan segala kecepatannya, masih kesulitan dengan konsistensi. Lenz Research belum mengindikasikan apakah mereka berencana untuk menindaklanjuti dengan analisis yang lebih dalam tentang mengapa model tidak sepakat atau cara menyelaraskannya. Untuk saat ini, pesannya sederhana: ketika mesin tidak bisa sepakat, keputusan ada di tangan manusia.
