Nvidia और Princeton University के शोधकर्ताओं ने ReplaySSM पेश किया है, एक तकनीक जो हाइब्रिड AI मॉडलों के लिए समझ को तेज करती है, स्टेट के बजाय इनपुट को कैश करके। यह विधि स्टेट-स्पेस मॉडलों में एक ज्ञात बाधा को लक्षित करती है, जो अक्सर धीमी जनरेशन से जूझते हैं। प्रोडक्शन मॉडलों पर, ReplaySSM 1.8× तक तेज समझ और 2.1× तक उच्च स्पेक्युलेटिव सर्विंग थ्रूपुट प्रदान करता है।
स्टेट-स्पेस मॉडल दीवार से क्यों टकराते हैं
स्टेट-स्पेस मॉडल (SSMs) ट्रांसफॉर्मर के विकल्प हैं जो कुशल लंबी-अनुक्रम प्रोसेसिंग का वादा करते हैं। लेकिन जब टोकन-दर-टोकन टेक्स्ट जनरेट करने की बात आती है, तो वे अपेक्षा से धीमे हो सकते हैं। समस्या इस बात में है कि ये मॉडल एक आवर्ती स्टेट बनाए रखते हैं जिसे प्रत्येक चरण में अपडेट करना पड़ता है। यह अनुक्रमिक निर्भरता समानांतरीकरण को कठिन बनाती है, विशेष रूप से इन्फरेंस के दौरान। हाइब्रिड मॉडल जो SSMs को अटेंशन लेयर्स के साथ जोड़ते हैं, वे इस समस्या को विरासत में लेते हैं, और समझ एक बाधा बन जाती है।
ReplaySSM समझ के खेल को कैसे बदलता है
ReplaySSM स्टेट के बजाय SSM लेयर्स के इनपुट को कैश करके स्थिति को उलट देता है। इसका मतलब है कि मॉडल कैश किए गए इनपुट से स्टेट को तुरंत पुनर्गणना कर सकता है, प्रत्येक टोकन के लिए एक बड़े स्टेट वेक्टर को संग्रहीत और पुनर्प्राप्त करने की आवश्यकता से बचता है। यह दृष्टिकोण डिकोडिंग के दौरान अधिक समानांतर गणना की अनुमति देता है, जो चीजों को तेज करने की कुंजी है। शोधकर्ताओं का कहना है कि यह इनपुट-कैशिंग रणनीति ही प्रदर्शन लाभ को अनलॉक करती है।
प्रोडक्शन के लिए मायने रखने वाले आंकड़े
टीम प्रोडक्शन मॉडलों पर 1.8× तक तेज समझ की रिपोर्ट करती है, जो अधिक उत्तरदायी AI अनुप्रयोगों में अनुवादित हो सकता है। स्पेक्युलेटिव सर्विंग के लिए—एक तकनीक जहां एक छोटा मॉडल टोकन का मसौदा तैयार करता है और एक बड़ा मॉडल उन्हें सत्यापित करता है—ReplaySSM थ्रूपुट को 2.1× तक बढ़ाता है। ये आंकड़े अनिर्दिष्ट प्रोडक्शन मॉडलों पर मापे गए हैं, लेकिन निहितार्थ स्पष्ट है: हाइब्रिड आर्किटेक्चर अब गति पर अधिक प्रभावी ढंग से प्रतिस्पर्धा कर सकते हैं।
AI स्टैक के लिए इसका क्या अर्थ है
हाइब्रिड मॉडल लोकप्रियता प्राप्त कर रहे हैं क्योंकि वे SSMs की दक्षता को ट्रांसफॉर्मर की गुणवत्ता के साथ संतुलित करने का लक्ष्य रखते हैं। लेकिन तेज डिकोडिंग के बिना, उनका व्यावहारिक उपयोग सीमित है। ReplaySSM इन मॉडलों को चैटबॉट्स, कोड जनरेशन, या किसी भी ऐसे अनुप्रयोग के लिए अधिक व्यवहार्य बना सकता है जहां विलंबता मायने रखती है। Nvidia की भागीदारी बताती है कि तकनीक को उसके हार्डवेयर के लिए अनुकूलित किया जा सकता है, हालांकि कंपनी ने अभी तक किसी उत्पाद एकीकरण की घोषणा नहीं की है। Princeton की भूमिका मौलिक इन्फरेंस चुनौतियों को हल करने में चल रही अकादमिक रुचि की ओर इशारा करती है।
किसी भी शोध की तरह, असली परीक्षा अपनाना है। इस विधि को मॉडलों और वर्कलोड की व्यापक श्रृंखला पर मान्य करने की आवश्यकता होगी। और जबकि गति वृद्धि आशाजनक है, उनके साथ समझौते भी हैं: इनपुट कैशिंग मेमोरी उपयोग बढ़ा सकती है, और पुनर्गणना ओवरहेड कुछ परिदृश्यों में लाभ को ऑफसेट कर सकता है। शोधकर्ताओं ने उन सीमाओं का विस्तार से वर्णन नहीं किया है। अभी के लिए, ReplaySSM एक पुरानी समस्या पर एक नया दृष्टिकोण प्रदान करता है, और AI समुदाय यह देखने के लिए उत्सुक होगा कि क्या यह पेपर से अभ्यास में आगे बढ़ता है।
