AutoTTS নামক একটি নতুন কৌশল LLM-এর যুক্তি কৌশলগুলিতে টোকেন ব্যবহার ৬৯.৫% হ্রাস করার দাবি করছে। পদ্ধতিটি, একটি নামহীন দল তৈরি করেছে, LLM-গুলি কীভাবে জটিল যুক্তিকে ধাপে ভাঙে তার মূল অদক্ষতাকে লক্ষ্য করে — এবং এটি অন্তর্নিহিত মডেল আর্কিটেকচারে কোনো পরিবর্তন ছাড়াই করে।
AutoTTS-এর ভিন্নতা
AutoTTS মানে Automatic Token Truncation Strategy (স্বয়ংক্রিয় টোকেন সংক্ষেপণ কৌশল)। এই পদ্ধতি LLM-গুলি বহু-ধাপ সমস্যা সমাধানের সময় যে চেইন-অফ-থট যুক্তি ক্রম তৈরি করে তা সংক্ষিপ্ত করে। ভার্বোস মধ্যবর্তী ধাপ তৈরি করার পরিবর্তে, AutoTTS যৌক্তিক প্রবাহ বজায় রেখে অপ্রয়োজনীয় টোকেন ছেঁটে ফেলে। ফলাফল: প্রতি কুয়েরিতে মডেলের মাধ্যমে কম ডেটা পাঠানো হয়।
৬৯.৫% এই সংখ্যাটি বিভিন্ন যুক্তি বেঞ্চমার্ক জুড়ে অভ্যন্তরীণ পরীক্ষা থেকে এসেছে। দলটি ব্যবহৃত সঠিক বেঞ্চমার্ক বা কৌশলটি কোনো নির্দিষ্ট মডেল সাইজ বা পরিবারে প্রয়োগ করা হয়েছে কিনা তা প্রকাশ করেনি।
টোকেন সংখ্যা কেন গুরুত্বপূর্ণ
LLM-এর প্রক্রিয়াকৃত প্রতিটি টোকেনের জন্য অর্থ এবং সময় খরচ হয়। যেসব ব্যবসা স্কেলে ইনফারেন্স চালায়, তাদের জন্য টোকেন ব্যবহারে সামান্য হ্রাসও ক্লাউড বিল কমাতে পারে। প্রায় ৭০% কমে যাওয়ার অর্থ হল প্রতি ডলার কম্পিউট খরচে প্রায় তিনগুণ বেশি আউটপুট। লেটেন্সিও কমে, কারণ ছোট ক্রম একই হার্ডওয়্যারে দ্রুত শেষ হয়।
AI-চালিত টুলের ডেভেলপাররা টোকেন অর্থনীতি সম্পর্কে ভালোভাবে সচেতন। যুক্তির গুণমান বিসর্জন না দিয়ে টোকেন ওভারহেড কমানো একটি বড় ইঞ্জিনিয়ারিং লক্ষ্য ছিল। যদি AutoTTS দাবি অনুযায়ী কাজ করে, তাহলে এটি কোম্পানিগুলি কীভাবে তাদের LLM পাইপলাইন অপ্টিমাইজ করে তা পরিবর্তন করতে পারে।
অবশিষ্ট প্রশ্নগুলি
বড় অজানা বিষয় হলো নির্ভুলতা। তথ্যগুলি কেবল টোকেন হ্রাসের সংখ্যা উল্লেখ করে। দলটি ফলাফল প্রকাশ করেনি যে সংক্ষিপ্ত যুক্তি শৃঙ্খলগুলি পূর্ণ সংস্করণের মতো একই চূড়ান্ত উত্তর দেয় কিনা। অতীতে চেইন-অফ-থট সংকুচিত করার প্রচেষ্টা কখনও কখনও যৌক্তিক ফাঁক বা ভুল সিদ্ধান্তে নিয়ে গেছে।
আরেকটি উন্মুক্ত প্রশ্ন হলো সাধারণীকরণযোগ্যতা। AutoTTS কি বিভিন্ন মডেল আর্কিটেকচার জুড়ে কাজ করে — ওপেন-ওয়েট মডেল থেকে মালিকানাধীন মডেল পর্যন্ত? দলটি পরীক্ষিত মডেল বা সবচেয়ে বেশি উপকৃত যুক্তি কাজের ধরন সম্পর্কে বিস্তারিত জানায়নি। সেই ডেটা ছাড়া, কৌশলটিকে প্লাগ-এন্ড-প্লে সমাধান বলা খুব তাড়াতাড়ি।
যেসব গবেষক ফলাফল পুনরুত্পাদন করতে চান তাদের সম্পূর্ণ পদ্ধতি প্রয়োজন। দলটি কখন বা তারা একটি পেপার প্রকাশ বা কোড প্রকাশ করার পরিকল্পনা করে কিনা তা জানায়নি। ততক্ষণ পর্যন্ত, ৬৯.৫% হ্রাস একটি আকর্ষণীয় দাবি থেকে যাচ্ছে যা বিস্তৃত বৈধতার অপেক্ষায় রয়েছে।
