OpenAI อ้างว่า Eval Agent ของ Terminal X — เครื่องมือที่สร้างขึ้นเพื่อตรวจสอบว่าการตัดสินใจลงทุนยังอยู่ในกรอบอาณัติที่กำหนดไว้หรือไม่ — เห็นพ้องกับนักลงทุนอาวุโส 88.6% ของเวลา บริษัทยังกล่าวอีกว่าเอเจนต์ตรวจพบการเบี่ยงเบนจากอาณัติได้มากกว่ากระบวนการที่มีอยู่เดิมที่ใช้เปรียบเทียบถึง 25% ตัวเลขทั้งสองนี้เป็นข้อมูลที่ผู้ขายรายงานเอง
ตัวเลขเหล่านี้มาจากกรณีศึกษาที่เผยแพร่โดย Terminal X ซึ่งให้เครดิตผลการดำเนินงานแก่ GPT-6.1 ทั้ง OpenAI และ Terminal X ไม่ได้เปิดเผยข้อมูลการทดสอบพื้นฐาน ขนาดกลุ่มตัวอย่าง หรือชื่อนักลงทุนที่ใช้วิจารณญาณเป็นเกณฑ์อ้างอิง
Eval Agent มีหน้าที่อะไร
ผลิตภัณฑ์นี้มุ่งเป้าไปที่ส่วนหนึ่งของการบริหารพอร์ตการลงทุนที่อธิบายได้ง่ายแต่ทำให้เป็นระบบอัตโนมัติได้ยาก: การตรวจสอบว่าธุรกรรมหรือหลักทรัพย์ที่ถือครองที่เสนอเข้ามานั้นสอดคล้องกับอาณัติที่ควรปฏิบัติตามจริงหรือไม่ อาณัติอาจกว้าง — เช่น เพดานสัดส่วนภาคธุรกิจ ขีดจำกัดอายุตราสาร หรือพื้นสภาพคล่อง — หรือแคบพอที่คนมีประสบการณ์สองคนอ่านเอกสารเดียวกันแล้วยังเห็นไม่ตรงกันว่าตำแหน่งนั้นผ่านเกณฑ์หรือไม่
กรณีศึกษาของ Terminal X นำเสนอ Eval Agent ในฐานะตาคู่ที่สองสำหรับคำถามนี้ ตัวเลข 88.6% เป็นการวัดความสอดคล้อง ไม่ใช่ความถูกต้อง เอเจนต์ที่ตรงกับนักลงทุนอาวุโสเกือบเก้าในสิบครั้งยังคงแตกต่างกันประมาณหนึ่งในสิบครั้ง และกรณีศึกษาไม่ได้ระบุว่าความแตกต่างเหล่านั้นเป็นไปในทางใด — เอเจนต์เข้มงวดกว่า ผ่อนปรนกว่า หรือเพียงแต่แตกต่างออกไป
ตัวเลขการเบี่ยงเบน 25% ต้องมีบริบท
ข้ออ้างที่ว่าเอเจนต์พบการเบี่ยงเบนจากอาณัติมากกว่า 25% เป็นตัวเลขที่มีนัยสำคัญกว่าจากสองตัวเลข เพราะเป็นตัวเลขที่พูดถึงการจับปัญหามากกว่าการเลียนแบบวิจารณญาณ แต่คำว่า "มากกว่า" เมื่อเทียบกับอะไรนั้นสำคัญ กรณีศึกษาเปรียบเทียบเอเจนต์กับกระบวนการที่มีอยู่เดิม และข้อเท็จจริงไม่ได้ระบุว่าฐานเปรียบเทียบนั้นเป็นการตรวจสอบด้วยมือ การคัดกรองตามกฎ หรือโมเดลก่อนหน้า
การเพิ่มขึ้น 25% ของการเบี่ยงเบนที่ตรวจพบอาจหมายความว่าเอเจนต์กำลังค้นพบการละเมิดจริงที่เคยถูกมองข้าม หรืออาจหมายความว่าเอเจนต์กำลังflagged สิ่งที่ผู้ตรวจสอบมนุษย์เห็นว่ายอมรับได้ หากไม่มีรายละเอียดแยกของผลบวกจริงและผลบวกลวง ตัวเลขนี้เป็นเพียงทิศทาง ไม่ใช่ผลลัพธ์
ทำไมแหล่งที่มาจึงสำคัญในที่นี้
นี่คือเกณฑ์มาตรฐานที่ผู้ขายรายงานเองจากกรณีศึกษาเพียงกรณีเดียว ซึ่งไม่ใช่เรื่องแปลกใน AI ระดับองค์กร — ข้ออ้างด้านประสิทธิภาพช่วงแรกส่วนใหญ่มาในลักษณะนี้ — แต่หมายความว่าตัวเลขยังไม่ได้รับการทำซ้ำอย่างอิสระ OpenAI เป็นผู้ให้บริการโมเดล Terminal X เป็นผู้สร้างผลิตภัณฑ์ และกรณีศึกษาเป็นของ Terminal X แต่ละฝ่ายต่างมีผลประโยชน์ให้ผลลัพธ์ดูแข็งแกร่ง
การให้เครดิตแก่ GPT-6.1 ก็ควรแยกออกจากส่วนที่เหลือ กรณีศึกษากล่าวว่าการตรวจสอบอาณัติที่ดีขึ้นเป็นผลจากโมเดล แต่ผลิตภัณฑ์เช่นนี้รวมโมเดลเข้ากับการ prompting การดึงข้อมูลจากเอกสารอาณัติ และการประมวลผลหลังใดๆ ที่อยู่ด้านบน การแยกให้รู้ว่าสัดส่วนเท่าใดของ 88.6% มาจากโมเดลเองนั้นต้องอาศัยการทดสอบ ablation ซึ่งกรณีศึกษาไม่ได้ดูเหมือนจะรวมไว้
ทีมกำกับดูแลจะต้องการเห็นอะไร
สำหรับผู้ที่กำลังประเมินเครื่องมือประเภทนี้ คำถามที่ยังเปิดอยู่เป็นเรื่อง konkret ขนาดกลุ่มตัวอย่างคือเท่าใด และนักลงทุนอาวุโสถูกคัดเลือกมาอย่างไร อาณัติที่ใช้ในการทดสอบเป็นเอกสารลูกค้าจริงหรือตัวอย่างที่สร้างขึ้น เอเจนต์ดำเนินการอย่างไรในกรณีที่นักลงทุนอาวุโสเองก็เห็นไม่ตรงกัน
สิ่งเหล่านี้ไม่ใช่ประเด็นทางวิชาการ เอเจนต์ตรวจสอบอาณัติที่ถูกต้อง 88.6% ของเวลานั้นมีประโยชน์ในฐานะชั้นคัดกรองเบื้องต้น และมีความเสี่ยงหากใช้เป็นผู้มีอำนาจตัดสินใจ ความแตกต่างระหว่างสองสิ่งนี้คือรายละเอียดประเภทที่กรณีศึกษามักละไว้
Terminal X ไม่ได้ระบุว่าจะเผยแพร่ข้อมูลการประเมินพื้นฐานหรือส่งเอเจนต์ให้ตรวจสอบจากภายนอกหรือไม่ จนกว่าจะทำเช่นนั้น ตัวเลข 88.6% และ 25% ยังคงเป็นข้ออ้างจากบริษัทที่สร้างและขายผลิตภัณฑ์ — เจาะจง สามารถตรวจสอบได้ในหลักการ และจนถึงขณะนี้ยังไม่ถูกตรวจสอบ
