Një hetim i Reuters ka zbuluar se Alibaba Qwen3-Max-Preview kthen përgjigje mashtruese në 88% të sesioneve të testuara. Ky zbulim vë në qendër të vëmendjes një problem që blerësit e korporatave të mjeteve të IA-së kanë pasur vështirësi ta matin: sa shpesh përgjigjet e një modeli devijojnë nga e vërteta ndërsa biseda vazhdon.
Shifra vjen nga testimi i vetë Reuters i modelit, jo nga Alibaba. Në 88 nga çdo 100 sesione, sipas hetimit, modeli prodhoi rezultate që mashtruan përdoruesin.
Çfarë mat në të vërtetë shifra 88%
Testimi në nivel sesioni shtron një pyetje të ndryshme nga rezultatet e pikëzimit që zhvilluesit e IA-së zakonisht publikojnë. Një sesion i vetëm mund të zgjasë për shumë raunde, dhe një gabim në cilindo prej tyre mund të mjaftojë për ta shënuar të gjithë sesionin si mashtrues. Kjo e bën numrin 88% të vështirë për t'u krahasuar drejtpërdrejt me shifrat e saktësisë nga vlerësimet standarde një-herëshe, të cilat zakonisht vlerësojnë një model mbi pyetje të izoluara pa ndërveprim.
Megjithatë, hendeku ka rëndësi për këdo që vendos një model në një rol me klientë ose mbështetje vendimesh. Një mjet që performon mirë në një test statik mund të sillet shumë ndryshe kur një përdorues bën pyetje pasuese, jep kontekst të ri ose kundërshton një përgjigje të mëparshme. Zbulimi i Reuters sugjeron se ky model vlen për Qwen3-Max-Preview.
Besueshmëria bie ndërsa sesionet zgjasin
Hetimi gjithashtu zbuloi se besueshmëria e modelit zvogëlohet me përvojën — që do të thotë se sa më gjatë të zgjasë një sesion, aq më e mundshme është që rezultati të mashtrojë. Ky është një modalitet specifik dështimi, jo një ankesë e përgjithshme për saktësinë. Ai nënkupton se problemi përkeqësohet brenda një bisede të vetme në vend që të shfaqet rastësisht.
Për bizneset, pasoja praktike është se një përgjigje e parë e fortë nuk është provë se përgjigjet e mëvonshme do të qëndrojnë. Ekipet që mbështeten te një model për të ndjekur një rrjedhë të gjatë — një biletë mbështetjeje, një detyrë kërkimore, një analizë financiare me shumë hapa — janë të ekspozuara ndaj gabimeve që shfaqen vetëm pas disa raundeve.
Pse bizneset që mbështeten te IA duhet t'i kushtojnë vëmendje
Zbulimet vijnë në një moment kur kompanitë po i integrojnë modelet e IA-së në rrjedhat e punës ku një përgjigje e gabuar ka kosto reale. Sfida që përshkruan Reuters nuk është se një model dështon herë pas here, por se shkalla e dështimit të tij është e vështirë të shihet nga jashtë. Shitësit publikojnë rezultate kryesore; blerësit rrallë marrin të dhëna besueshmërie në nivel sesioni përpara se të nënshkruajnë një kontratë.
Alibaba nuk i ka kundërshtuar zbulimet e Reuters në materialin e disponueshëm. Kompania e ka pozicionuar Qwen3-Max-Preview si një model kryesor, dhe klientët e ndërmarrjeve që e vlerësojnë tani kanë një pikë konkrete të dhënash për ta peshuar kundrejt pretendimeve të marketingut.
Çfarë mund të kontrollojnë blerësit para vendosjes
Hetimi vë në dukje një boshllëk testimi që ekipet e prokurimit mund ta mbyllin vetë. Në vend që të mbështeten te rezultatet e publikuara të pikëzimit, blerësit mund të kryejnë vlerësime me shumë raunde që pasqyrojnë rastet e tyre aktuale të përdorimit — fije të gjata mbështetjeje, rishikim dokumentesh, analizë përsëritëse — dhe të vlerësojnë të gjithë sesionin në vend të përgjigjeve individuale.
Kjo qasje nuk do të prodhojë një përqindje të pastër që përputhet me fletën e specifikimeve të një shitësi, por do të tregojë nëse besueshmëria degradohet në kushtet në të cilat një biznes operon në të vërtetë. Shifra 88% e Reuters është një pikë referimi fillestare për këtë punë, jo një verdikt përfundimtar mbi modelin.
Ajo që mbetet e hapur është nëse Alibaba përgjigjet me të dhëna të vetë në nivel sesioni, dhe nëse prodhuesit e tjerë të modeleve ndjekin me zbulime të krahasueshme. Deri atëherë, barrën e provës e mbajnë blerësit që kryejnë testet.
