প্রকল্প সম্পর্কে

ইউনিফায়েড ল্যাটেন্ট-স্টেট মেমরি ফেব্রিক (UL-SMF) একটি হার্ডওয়্যার-সফটওয়্যার সহ-নকশাকৃত মেমরি কম্প্রেশন ফেব্রিক হিসেবে উপস্থাপিত হচ্ছে, যা দীর্ঘ-প্রসঙ্গ ট্রান্সফরমার ইনফারেন্সের মেমরি বাধাকে লক্ষ্য করে। বর্ণিত পদ্ধতিটি ফিনিট স্কেলার কোয়ান্টাইজেশন (FSQ) এবং একটি গতিশীল 16-মাত্রিক ল্যাটেন্ট ম্যাপিংকে একত্রিত করে, যা Aegis-KV Oracle Core নামক একটি মালিকানাধীন উপাদানের মাধ্যমে বাস্তবায়িত। প্রকল্পটি দাবি করে যে এটি কী-ভ্যালু (KV) ক্যাশ টেনসরগুলিকে 384x পর্যন্ত সংকুচিত করে এবং 94% এর বেশি শব্দার্থিক বিষয়বস্তু ধরে রাখে। রিপোজিটরিটি AGPLv3 লাইসেন্সের অধীনে এবং Python 3.10+ এবং PyTorch 2.0+ প্রয়োজন। তবে, একটি গুরুত্বপূর্ণ কাঠামোগত সীমাবদ্ধতা README-তে স্পষ্টভাবে নথিভুক্ত: যদিও অর্কেস্ট্রেশন ফ্রেমওয়ার্ক এবং ইন্টারফেসগুলি ওপেন-সোর্স, সম্পূর্ণ উৎপাদন পাইপলাইন একটি সংকলিত মালিকানাধীন বাইনারি (`aegis_kv_oracle_core.pt`) এর উপর নির্ভরশীল যা রিপোজিটরিতে অন্তর্ভুক্ত নয়। ওপেন-সোর্স কুইকস্টার্ট স্ক্রিপ্টটি পাইপলাইন কাঠামো এবং ডেটা প্রবাহ সংজ্ঞায়িত করে, কিন্তু প্রকৃত কম্প্রেশনের স্থানীয় কার্যকরনের জন্য এই লাইসেন্সযুক্ত কোর বাইনারিটির উপর নির্ভর করতে হয়। বাণিজ্যিক লাইসেন্সধারীদের অপ্টিমাইজড বাইনারি, ইন্টিগ্রেশন সহায়তা এবং জিরো-কপি VRAM রাউটিংয়ের জন্য একটি পৃথক যোগাযোগ ঠিকানায় (inquiries@lawrencearchitectures.com) নির্দেশ দেওয়া হয়। README-তে বেশ কয়েকটি বেঞ্চমার্ক টেবিল অন্তর্ভুক্ত। `unsloth/llama-3-8b-Instruct-bnb-4bit`-এ একটি মাল্টি-নিডল কনটেক্সট রিট্রিভাল পরীক্ষা 4,892 টোকেনে 128D-থেকে-16D কম্প্রেশন সহ তিনটি লক্ষ্যে 100% রিট্রিভাল বিশ্বস্ততা রিপোর্ট করে। একটি হার্ডওয়্যার প্রোফাইলিং টেবিল 14.66% VRAM হ্রাস (1317.52 MB থেকে 1124.34 MB) এবং 3% জেনারেশন গতির ওভারহেড রিপোর্ট করে। একটি বিচ্ছিন্ন টেনসর প্রোফাইলিং টেবিল 4096 টোকেনের জন্য 384x হ্রাস (48.00 MB থেকে 0.12 MB) দাবি করে। WikiText-2-তে একটি পারপ্লেক্সিটি অডিট আনুমানিক 0.0020 নেট অবনতি রিপোর্ট করে। 32D, 16D, 8D এবং 4D ল্যাটেন্ট মাত্রা জুড়ে একটি রেট-ডিস্টর্শন সুইপ উপস্থাপন করা হয়েছে, যা 16D-কে সর্বোত্তম প্যারেটো ফ্রন্টিয়ার পয়েন্ট হিসেবে চিহ্নিত করে। একটি কনকারেন্সি স্কেলিং টেবিল 1 থেকে 16 পর্যন্ত ব্যাচ সাইজ দেখায় যার রৈখিক ওভারহেড বৃদ্ধি রয়েছে। ব্যবহারকারীদের লক্ষ্য করা উচিত যে এই রিপোজিটরির ওপেন-সোর্স অংশটি শুধুমাত্র ইন্টারফেস এবং অর্কেস্ট্রেশন স্তর প্রদান করে। প্রকৃত কম্প্রেশন অ্যালগরিদমগুলি মালিকানাধীন Aegis-KV বাইনারিতে থাকে, যা রিপোজিটরিতে উপলব্ধ নয়। বেঞ্চমার্ক পরিসংখ্যানগুলি স্ব-প্রতিবেদিত এবং বন্ধ বাইনারিতে অ্যাক্সেস ছাড়া স্বাধীনভাবে যাচাই করা যায় না। রিপোর্ট করা কম্প্রেশন অনুপাতের গাণিতিক ধারাবাহিকতা বর্ণিত মডেল আর্কিটেকচারের সাপেক্ষে সম্ভাব্য ব্যবহারকারীদের ফলাফলের উপর নির্ভর করার আগে মূল্যায়ন করা উচিত।