تدّعي OpenAI أن وكيل التقييم Eval Agent من Terminal X — وهو أداة صُممت للتحقق مما إذا كانت قرارات الاستثمار تبقى ضمن الولايات المعلنة — اتفق مع المستثمرين الكبار بنسبة 88.6% من الوقت. وتقول الشركة أيضًا إن الوكيل التقط انحرافات عن الولايات أكثر بنسبة 25% مقارنة بالعملية الحالية التي قورن بها. وكلا الرقمين مُبلغ عنهما من قبل البائع.
تأتي الأرقام من دراسة حالة نشرتها Terminal X، والتي تنسب الأداء إلى GPT-6.1. لم تُفرج OpenAI ولا Terminal X عن بيانات الاختبار الأساسية، أو حجم العينة، أو أسماء المستثمرين الذين استُخدم حكمهم كمعيار مرجعي.
ما يُفترض أن يفعله وكيل التقييم
يستهدف المنتج الجزء من إدارة المحافظ الذي يسهل وصفه ويصعب أتمتته: التحقق مما إذا كانت صفقة أو مركز مقترح يتوافق فعليًا مع الولاية التي يُفترض أن يتبعها. يمكن أن تكون الولايات واسعة — سقف قطاعي، حد للمدة، حد أدنى للسيولة — أو ضيقة بما يكفي بحيث يقرأ شخصان متمرسان نفس الوثيقة ويختلفان حول ما إذا كان المركز يستوفيها.
تؤطر دراسة حالة Terminal X وكيل التقييم كزوج ثانٍ من العيون على هذا السؤال. رقم 88.6% هو مقياس للتوافق، وليس للصحة. فالوكيل الذي يطابق مستثمرًا كبيرًا في ما يقرب من تسع من كل عشر حالات لا يزال يختلف في حوالي واحدة من كل عشر قرارات، ولا تذكر دراسة الحالة في أي اتجاه ذهبت تلك الاختلافات — سواء كان الوكيل أكثر صرامة أو أكثر تساهلًا أو مختلفًا ببساطة.
رقم الانحراف البالغ 25% يحتاج إلى سياق
الادعاء بأن الوكيل وجد انحرافات عن الولايات أكثر بنسبة 25% هو الأكثر أهمية بين الرقمين، لأنه يتعلق باكتشاف المشكلات بدلًا من تكرار الحكم. لكن كلمة "أكثر" نسبية لما تُقارن به. تقارن دراسة الحالة الوكيل بعملية حالية، ولا تحدد الحقائق ما إذا كان ذلك الأساس المرجعي مراجعة يدوية أو فحصًا قائمًا على القواعد أو نموذجًا سابقًا.
قد تعني زيادة بنسبة 25% في الانحرافات المكتشفة أن الوكيل يجد خروقات حقيقية كانت تُفوت سابقًا. وقد تعني أيضًا أن الوكيل يشير إلى أمور اعتبرها المراجع البشري مقبولة. وبدون تفصيل للإيجابيات الحقيقية والإيجابيات الكاذبة، فإن الرقم يمثل اتجاهًا وليس نتيجة.
لماذا يهم مصدر البيانات هنا
هذا معيار أداء مُبلغ عنه من قبل البائع مستمد من دراسة حالة واحدة. وهذا ليس غير معتاد في الذكاء الاصطناعي المؤسسي — فمعظم ادعاءات الأداء المبكرة تصل بهذه الطريقة — لكنه يعني أن الأرقام لم تُكرر بشكل مستقل. OpenAI هي مزود النموذج؛ وTerminal X هي بانية المنتج؛ ودراسة الحالة هي دراسة Terminal X. ولكل طرف مصلحة في أن تبدو النتيجة قوية.
كما يجدر فصل النسبة إلى GPT-6.1 عن الباقي. تقول دراسة الحالة إن تحسينات فحص الولايات تعود إلى النموذج، لكن منتجًا كهذا يجمع النموذج مع هندسة الأوامر، والاسترجاع من وثائق الولايات، وأي معالجة لاحقة تُبنى فوق ذلك. وعزل مقدار ما يأتي من 88.6% من النموذج نفسه سيتطلب تحليل استئصال لا يبدو أن دراسة الحالة تتضمنه.
ما ستريد فرق الامتثال رؤيته
بالنسبة لأي شخص يقيّم هذا النوع من الأدوات، فإن الأسئلة المفتوحة ملموسة. ما حجم العينة، وكيف تم اختيار المستثمرين الكبار؟ هل كانت الولايات المستخدمة في الاختبار وثائق عملاء حقيقية أم أمثلة مُنشأة؟ كيف أدى الوكيل في الحالات التي اختلف فيها المستثمرون الكبار أنفسهم؟
هذه ليست نقاطًا أكاديمية. فالوكيل الذي يفحص الولايات ويكون صحيحًا بنسبة 88.6% من الوقت مفيد كطبقة فرز ومحفوف بالمخاطر كسلطة. والفرق بين الاثنين هو بالضبط نوع التفاصيل التي تميل دراسة الحالة إلى إغفالها.
لم تذكر Terminal X ما إذا كانت تخطط لنشر بيانات التقييم الأساسية أو تقديم الوكيل لمراجعة خارجية. وحتى تفعل ذلك، فإن رقمي 88.6% و25% يظلان ادعاءات من الشركتين اللتين بنتا المنتج وتبيعانه — محددة، وقابلة للتحقق من حيث المبدأ، وغير مُتحقق منها حتى الآن.
