OpenAI tuyên bố rằng Eval Agent của Terminal X — một công cụ được xây dựng để kiểm tra xem các quyết định đầu tư có nằm trong nhiệm vụ được nêu hay không — đã đồng ý với các nhà đầu tư cấp cao 88,6% thời gian. Công ty cũng cho biết agent đã phát hiện nhiều hơn 25% các sai lệch nhiệm vụ so với quy trình hiện có mà nó được so sánh. Cả hai con số đều do nhà cung cấp báo cáo.
Những con số này đến từ một nghiên cứu điển hình do Terminal X công bố, trong đó ghi nhận hiệu suất cho GPT-6.1. Cả OpenAI và Terminal X đều chưa công bố dữ liệu kiểm tra cơ bản, kích thước mẫu, hoặc tên của các nhà đầu tư có đánh giá được dùng làm chuẩn.
Eval Agent được cho là làm gì
Sản phẩm nhắm đến phần của quản lý danh mục đầu tư dễ mô tả nhưng khó tự động hóa: kiểm tra xem một giao dịch hoặc khoản nắm giữ được đề xuất có thực sự phù hợp với nhiệm vụ mà nó phải tuân theo hay không. Nhiệm vụ có thể rộng — giới hạn ngành, giới hạn thời hạn, sàn thanh khoản — hoặc hẹp đến mức hai người có kinh nghiệm đọc cùng một tài liệu và không đồng ý về việc liệu một vị thế có đáp ứng được hay không.
Nghiên cứu điển hình của Terminal X mô tả Eval Agent như một cặp mắt thứ hai cho câu hỏi đó. Con số 88,6% là thước đo sự đồng thuận, không phải tính đúng đắn. Một agent khớp với nhà đầu tư cấp cao gần chín trên mười lần vẫn đang phân kỳ ở khoảng một trong mười lần gọi, và nghiên cứu điển hình không nói những phân kỳ đó đi theo hướng nào — liệu agent có nghiêm ngặt hơn, lỏng lẻo hơn, hay chỉ đơn giản là khác biệt.
Con số sai lệch 25% cần bối cảnh
Tuyên bố rằng agent tìm thấy nhiều hơn 25% sai lệch nhiệm vụ là con số quan trọng hơn trong hai con số, vì nó nói về việc phát hiện vấn đề hơn là sao chép phán đoán. Nhưng "nhiều hơn" so với cái gì mới quan trọng. Nghiên cứu điển hình so sánh agent với một quy trình hiện có, và các dữ kiện không nêu rõ liệu đường cơ sở đó là đánh giá thủ công, sàng lọc dựa trên quy tắc, hay một mô hình trước đó.
Mức tăng 25% các sai lệch được phát hiện có thể có nghĩa là agent đang tìm ra các vi phạm thực sự mà trước đây bị bỏ sót. Nó cũng có thể có nghĩa là agent đang gắn cờ những thứ mà người đánh giá con người coi là chấp nhận được. Nếu không có phân tích chi tiết về dương tính thật và dương tính giả, con số này chỉ là một hướng, không phải kết quả.
Tại sao nguồn gốc lại quan trọng ở đây
Đây là một chuẩn đo lường do nhà cung cấp báo cáo, rút ra từ một nghiên cứu điển hình duy nhất. Điều đó không bất thường trong AI doanh nghiệp — hầu hết các tuyên bố hiệu suất ban đầu đều đến theo cách này — nhưng nó có nghĩa là các con số chưa được nhân rộng độc lập. OpenAI là nhà cung cấp mô hình; Terminal X là nhà xây dựng sản phẩm; nghiên cứu điển hình là của Terminal X. Mỗi bên đều có lợi ích trong việc kết quả trông mạnh mẽ.
Việc ghi công cho GPT-6.1 cũng đáng được tách ra khỏi phần còn lại. Nghiên cứu điển hình nói rằng các kiểm tra nhiệm vụ được cải thiện là nhờ mô hình, nhưng một sản phẩm như thế này kết hợp mô hình với prompting, truy xuất trên các tài liệu nhiệm vụ, và bất kỳ xử lý hậu kỳ nào nằm trên cùng. Việc tách riêng bao nhiêu phần của 88,6% đến từ bản thân mô hình sẽ cần một phép loại bỏ mà nghiên cứu điển hình dường như không bao gồm.
Những gì các nhóm tuân thủ sẽ muốn thấy
Đối với bất kỳ ai đánh giá loại công cụ này, các câu hỏi mở là cụ thể. Kích thước mẫu là bao nhiêu, và các nhà đầu tư cấp cao được chọn như thế nào? Các nhiệm vụ được sử dụng trong thử nghiệm là tài liệu khách hàng thực hay ví dụ được xây dựng? Agent đã hoạt động như thế nào trong các trường hợp mà chính các nhà đầu tư cấp cao không đồng ý?
Đó không phải là những điểm học thuật. Một agent kiểm tra nhiệm vụ đúng 88,6% thời gian thì hữu ích như một lớp phân loại và rủi ro như một thẩm quyền. Sự khác biệt giữa hai điều này chính xác là loại chi tiết mà một nghiên cứu điển hình có xu hướng bỏ qua.
Terminal X chưa cho biết liệu họ có kế hoạch công bố dữ liệu đánh giá cơ bản hay đệ trình agent cho một đánh giá bên ngoài hay không. Cho đến khi họ làm vậy, các con số 88,6% và 25% vẫn là tuyên bố từ các công ty đã xây dựng và bán sản phẩm — cụ thể, có thể kiểm tra về nguyên tắc, và cho đến nay vẫn chưa được kiểm tra.
