OpenAI, Terminal X'in Eval Agent'ının — yatırım kararlarının belirtilen yetki alanları içinde kalıp kalmadığını kontrol etmek için geliştirilen bir araç — kıdemli yatırımcılarla %88,6 oranında aynı fikirde olduğunu iddia ediyor. Şirket ayrıca, ajanın karşılaştırıldığı mevcut süreçten %25 daha fazla yetki sapması yakaladığını söylüyor. Her iki rakam da satıcı tarafından bildirilmiştir.
Rakamlar, Terminal X tarafından yayımlanan ve performansı GPT-6.1'e atfeden bir vaka çalışmasından geliyor. Ne OpenAI ne de Terminal X, temel test verilerini, örneklem büyüklüğünü veya yargısı referans olarak kullanılan yatırımcıların isimlerini açıklamadı.
Eval Agent'ın yapması gereken şey
Ürün, portföy yönetiminin tanımlaması kolay ama otomatikleştirmesi zor olan kısmına yönelik: önerilen bir işlemin veya pozisyonun, uyması gereken yetki alanına gerçekten uyup uymadığını kontrol etmek. Yetki alanları geniş olabilir — bir sektör üst sınırı, bir vade limiti, bir likidite tabanı — ya da iki deneyimli kişinin aynı belgeyi okuyup bir pozisyonun bunu karşılayıp karşılamadığı konusunda anlaşamayacağı kadar dar olabilir.
Terminal X'in vaka çalışması, Eval Agent'ı bu soruya ikinci bir göz olarak çerçeveliyor. %88,6 rakamı doğruluk değil, anlaşma ölçüsüdür. Kıdemli bir yatırımcıyla neredeyse on seferden dokuzunda örtüşen bir ajan, yine de yaklaşık on çağrıdan birinde farklılaşıyor ve vaka çalışması bu farklılıkların hangi yönde olduğunu — ajanın daha katı, daha gevşek mi yoksa sadece farklı mı olduğunu — söylemiyor.
%25 sapma rakamı bağlam gerektiriyor
Ajanın %25 daha fazla yetki sapması bulduğu iddiası, iki rakam arasında daha sonuç doğuranı, çünkü yargıyı kopyalamaktan ziyade sorunları yakalamaya işaret eden rakam bu. Ancak "daha fazla"nın neye göre olduğu önemli. Vaka çalışması ajanı mevcut bir süreçle karşılaştırıyor ve gerçekler bu temel çizginin manuel bir inceleme mi, kural tabanlı bir tarama mı yoksa önceki bir model mi olduğunu belirtmiyor.
Tespit edilen sapmalarda %25'lik bir artış, ajanın daha önce gözden kaçan gerçek ihlalleri bulduğu anlamına gelebilir. Aynı zamanda, ajanın bir insan gözden geçirenin kabul edilebilir gördüğü şeyleri işaretlediği anlamına da gelebilir. Gerçek pozitifler ve yanlış pozitiflerin bir dökümü olmadan, rakam bir sonuç değil, bir yöndür.
Kaynakça burada neden önemli
Bu, tek bir vaka çalışmasından alınan satıcı tarafından bildirilmiş bir kıyaslamadır. Bu, kurumsal yapay zekada alışılmadık değil — erken performans iddialarının çoğu bu şekilde gelir — ancak rakamların bağımsız olarak tekrarlanmadığı anlamına gelir. OpenAI model sağlayıcısıdır; Terminal X ürün geliştiricisidir; vaka çalışması Terminal X'e aittir. Her tarafın sonucun güçlü görünmesinde çıkarı vardır.
GPT-6.1'e atıf da geri kalanından ayrılmaya değer. Vaka çalışması, iyileştirilmiş yetki kontrollerinin modele bağlı olduğunu söylüyor, ancak böyle bir ürün modeli istemler, yetki belgeleri üzerinde erişim ve üstüne oturan her türlü sonradan işleme ile bir araya getirir. %88,6'nın ne kadarının modelin kendisinden geldiğini izole etmek, vaka çalışmasının içermediği bir ablasyon gerektirir.
Uyum ekiplerinin görmek isteyeceği şeyler
Bu tür bir aracı değerlendiren herkes için açık sorular somuttur. Örneklem büyüklüğü neydi ve kıdemli yatırımcılar nasıl seçildi? Testte kullanılan yetki alanları gerçek müşteri belgeleri miydi yoksa oluşturulmuş örnekler miydi? Ajan, kıdemli yatırımcıların kendi aralarında anlaşamadığı durumlarda nasıl performans gösterdi?
Bunlar akademik noktalar değil. %88,6 oranında doğru olan bir yetki kontrol ajanı, bir triyaj katmanı olarak faydalı ve bir otorite olarak risklidir. İkisi arasındaki fark, tam olarak bir vaka çalışmasının atlama eğiliminde olduğu türden bir ayrıntıdır.
Terminal X, temel değerlendirme verilerini yayımlamayı veya ajanı dış bir incelemeye sunmayı planlayıp planlamadığını söylemedi. Bunu yapana kadar, %88,6 ve %25 rakamları, ürünü geliştiren ve satan şirketlerin iddiaları olarak duruyor — spesifik, ilkesel olarak kontrol edilebilir ve şu ana kadar kontrol edilmemiş.
