การศึกษาใหม่จาก Lenz Research พบว่าโมเดลปัญญาประดิษฐ์ (AI) ไม่เห็นพ้องกันใน 67% ของข้อกล่าวหาที่ตรวจสอบข้อเท็จจริง ส่งผลให้เกิดข้อกังขาเกี่ยวกับความน่าเชื่อถือของระบบตรวจสอบอัตโนมัติ ผลการวิจัยซึ่งเผยแพร่โดยไม่มีการประกาศล่วงหน้า บ่งชี้ว่าแม้แต่เครื่องมือ AI ขั้นสูงก็มักจะขัดแย้งกันเองเมื่อได้รับมอบหมายให้ระบุความจริง นักวิจัยเบื้องหลังการศึกษาย้ำถึงความจำเป็นในการใช้แหล่งข้อมูลที่หลากหลายและการควบคุมโดยมนุษย์ในการตัดสินใจ โดยเฉพาะในพื้นที่ที่เปลี่ยนแปลงอย่างรวดเร็ว เช่น ตลาดการเงิน
ระดับของความไม่เห็นพ้อง
ตัวเลข 67% นั้นโดดเด่นมาก ซึ่งหมายความว่าจากทุกสามข้อกล่าวหาที่ผ่านการตรวจสอบข้อเท็จจริงโดยโมเดล AI ที่แตกต่างกัน สองข้อจะลงเอยด้วยคำตัดสินที่ขัดแย้งกัน Lenz Research ไม่ได้ระบุว่าโมเดลใดได้รับการทดสอบหรือลักษณะของข้อกล่าวหา แต่ความหมายนั้นชัดเจน: ไม่มีระบบ AI ใดระบบหนึ่งที่สามารถเชื่อถือได้ในการแยกแยะข้อเท็จจริงจากนิยายเพียงลำพัง อัตราความไม่เห็นพ้องชี้ให้เห็นถึงความแตกต่างพื้นฐานในวิธีการฝึกอบรมโมเดล ข้อมูลที่โมเดลใช้ และตรรกะเบื้องหลัง
ในตลาดที่ผันผวน ซึ่งข่าวลือสามารถเปลี่ยนราคาได้ในไม่กี่วินาที ความเสี่ยงนั้นสูงมาก ผู้ค้าที่พึ่งพาเครื่องตรวจสอบข้อเท็จจริงด้วย AI อาจดำเนินการตามป้ายกำกับที่โมเดลอื่นจะปฏิเสธ ผู้เขียนการศึกษากล่าวถึง “ตลาดที่ผันผวน” อย่างชัดเจนว่าเป็นบริบทที่แหล่งข้อมูลที่หลากหลายและการตัดสินใจของมนุษย์มีความสำคัญ เครื่องมืออัตโนมัติสามารถประมวลผลข้อมูลปริมาณมากได้ แต่ไม่สามารถแก้ไขความขัดแย้งของตนเองได้หากไม่มีมนุษย์อยู่ในวงจร
สิ่งที่การศึกษาแนะนำ
คำแนะนำจาก Lenz Research นั้นตรงไปตรงมา: อย่าพึ่งพาแหล่งข้อมูล AI เพียงแหล่งเดียว แต่ให้ตรวจสอบผลลัพธ์แบบไขว้กัน นำผู้ตรวจสอบที่เป็นมนุษย์เข้ามา และถือว่าการตรวจสอบข้อเท็จจริงอัตโนมัติเป็นข้อมูลนำเข้าหนึ่งในหลายๆ ข้อมูล นี่ไม่ใช่การเรียกร้องให้ละทิ้งเทคโนโลยี แต่เป็นคำเตือนไม่ให้มั่นใจมากเกินไป การศึกษาไม่ได้เสนอวิธีแก้ปัญหาสำหรับปัญหาความไม่เห็นพ้อง แต่ได้สร้างข้อโต้แย้งที่หนักแน่นในการให้มนุษย์ยังคงมีส่วนร่วม
ผลการวิจัยเพิ่มหลักฐานที่เพิ่มขึ้นว่า AI แม้จะเร็ว แต่ยังคงมีปัญหาเรื่องความสม่ำเสมอ Lenz Research ยังไม่ได้ระบุว่ามีแผนจะติดตามผลด้วยการวิเคราะห์เชิงลึกว่าเหตุใดโมเดลจึงไม่เห็นพ้องหรือจะทำให้สอดคล้องกันได้อย่างไร สำหรับตอนนี้ ข้อความนั้นเรียบง่าย: เมื่อเครื่องจักรไม่สามารถตกลงกันได้ การตัดสินใจก็เป็นของมนุษย์
