AutoTTS नामक एक नई तकनीक बड़े भाषा मॉडल (LLM) तर्क रणनीतियों में टोकन उपयोग में 69.5% की कमी का दावा कर रही है। एक अज्ञात टीम द्वारा विकसित यह विधि, LLMs द्वारा जटिल तर्क को चरणों में तोड़ने की मुख्य अक्षमता को लक्षित करती है — और यह अंतर्निहित मॉडल आर्किटेक्चर में बिना किसी बदलाव के करती है।
AutoTTS क्या अलग करता है
AutoTTS का मतलब Automatic Token Truncation Strategy (स्वचालित टोकन छंटाई रणनीति) है। यह दृष्टिकोण LLMs द्वारा बहु-चरणीय समस्याओं को हल करते समय उत्पन्न की जाने वाली chain-of-thought (विचार-श्रंखला) तर्क अनुक्रमों को छोटा करता है। विस्तृत मध्यवर्ती चरणों का उत्पादन करने के बजाय, AutoTTS तार्किक प्रवाह को बनाए रखते हुए अनावश्यक टोकनों को काट देता है। परिणाम: प्रति क्वेरी मॉडल के माध्यम से भेजा गया कम डेटा।
69.5% का आंकड़ा विभिन्न तर्क बेंचमार्कों पर आंतरिक परीक्षणों से आता है। टीम ने उपयोग किए गए सटीक बेंचमार्कों या यह तकनीक किसी विशिष्ट मॉडल आकार या परिवार पर लागू की गई थी या नहीं, इसका खुलासा नहीं किया है।
टोकन गणना क्यों मायने रखती है
LLM द्वारा संसाधित प्रत्येक टोकन में पैसा और समय खर्च होता है। बड़े पैमाने पर इनफेरेंस चलाने वाले व्यवसायों के लिए, टोकन उपयोग में एक छोटी सी कमी भी क्लाउड बिलों में भारी कटौती कर सकती है। लगभग 70% की कटौती का मतलब होगा कि कम्प्यूट पर खर्च किए गए प्रति डॉलर पर लगभग तीन गुना अधिक आउटपुट। विलंबता (latency) भी कम हो जाती है, क्योंकि छोटे अनुक्रम एक ही हार्डवेयर पर तेजी से पूरे होते हैं।
AI-संचालित उपकरणों के डेवलपर्स टोकन अर्थशास्त्र से अच्छी तरह परिचित हैं। तर्क गुणवत्ता से समझौता किए बिना टोकन ओवरहेड को कम करना एक प्रमुख इंजीनियरिंग लक्ष्य रहा है। यदि AutoTTS दावे के अनुसार काम करता है, तो यह कंपनियों के अपने LLM पाइपलाइनों को अनुकूलित करने के तरीके को बदल सकता है।
शेष प्रश्न
बड़ी अज्ञात बात सटीकता है। तथ्य केवल टोकन कमी के आंकड़े बताते हैं। टीम ने यह दिखाने वाले परिणाम जारी नहीं किए हैं कि क्या छंटे हुए तर्क श्रृंखलाएं पूर्ण संस्करणों के समान अंतिम उत्तर उत्पन्न करती हैं। chain-of-thought को संपीड़ित करने के पिछले प्रयासों में कभी-कभी तार्किक अंतराल या गलत निष्कर्ष निकले हैं।
एक और खुला प्रश्न सामान्यीकरण क्षमता (generalizability) है। क्या AutoTTS विभिन्न मॉडल आर्किटेक्चरों — ओपन-वेट मॉडल से लेकर प्रोप्राइटरी मॉडल तक — पर काम करता है? टीम ने परीक्षण किए गए मॉडलों या उन तर्क कार्यों के प्रकारों के बारे में विवरण साझा नहीं किए हैं जो सबसे अधिक लाभान्वित होते हैं। उस डेटा के बिना, तकनीक को प्लग-एंड-प्ले समाधान कहना जल्दबाजी होगी।
परिणामों को दोहराने के इच्छुक शोधकर्ताओं को पूरी कार्यप्रणाली की आवश्यकता होगी। टीम ने यह संकेत नहीं दिया है कि वे कब या क्या कोई पेपर प्रकाशित करने या कोड जारी करने की योजना बना रहे हैं। तब तक, 69.5% की कमी एक दिलचस्प दावा बनी हुई है जो व्यापक सत्यापन की प्रतीक्षा कर रही है।
