منصوبے کے بارے میں

یونیفائیڈ لیٹنٹ-اسٹیٹ میموری فیبرک (UL-SMF) کو ایک ہارڈویئر-سافٹ ویئر مشترکہ میموری کمپریشن فیبرک کے طور پر پیش کیا گیا ہے، جس کا مقصد طویل سیاق و سباق کے Transformer انفرنس میں میموری کی رکاوٹ کو حل کرنا ہے۔ بیان کردہ طریقہ کار Finite Scalar Quantization (FSQ) کو ایک متحرک 16-جہتی لیٹنٹ میپنگ کے ساتھ جوڑتا ہے، جسے Aegis-KV Oracle Core نامی ملکیتی جزو کے ذریعے نافذ کیا گیا ہے۔ یہ پروجیکٹ Key-Value (KV) کیش ٹینسرز کو 384x تک کمپریس کرنے کا دعویٰ کرتا ہے جبکہ 94% سے زیادہ معنوی مواد برقرار رکھتا ہے۔ ریپوزٹری AGPLv3 لائسنس کے تحت ہے اور Python 3.10+ اور PyTorch 2.0+ کی ضرورت ہے۔ تاہم، README میں ایک اہم ساختی حد نمایاں طور پر دستاویز کی گئی ہے: جبکہ آرکیسٹریشن فریم ورک اور انٹرفیس اوپن سورس ہیں، مکمل پروڈکشن پائپ لائن ایک مرتب شدہ ملکیتی بائنری (`aegis_kv_oracle_core.pt`) پر منحصر ہے جو ریپوزٹری میں شامل نہیں ہے۔ اوپن سورس کوئیک اسٹارٹ اسکرپٹ پائپ لائن کی ساخت اور ڈیٹا فلو کی وضاحت کرتا ہے، لیکن اصل کمپریشن کی مقامی عملدرآمد اس لائسنس یافتہ کور بائنری پر منحصر ہے۔ تجارتی لائسنس ہولڈرز کو بہتر بائنری، انٹیگریشن سپورٹ، اور زیرو-کاپی VRAM روٹنگ کے لیے ایک علیحدہ رابطہ ایڈریس (inquiries@lawrencearchitectures.com) پر بھیجا جاتا ہے۔ README میں کئی بینچ مارک ٹیبلز شامل ہیں۔ `unsloth/llama-3-8b-Instruct-bnb-4bit` پر ملٹی-نیڈل سیاق و سباق کی بازیافت کا ٹیسٹ 4,892 ٹوکنز پر 128D-to-16D کمپریشن کے ساتھ تین اہداف پر 100% بازیافت کی درستگی رپورٹ کرتا ہے۔ ایک ہارڈویئر پروفائلنگ ٹیبل 3% جنریشن اسپیڈ اوور ہیڈ کے ساتھ 14.66% VRAM کمی (1317.52 MB سے 1124.34 MB) رپورٹ کرتا ہے۔ ایک الگ تھلگ ٹینسر پروفائلنگ ٹیبل 4096 ٹوکنز کے لیے 384x کمی (48.00 MB سے 0.12 MB) کا دعویٰ کرتی ہے۔ WikiText-2 پر پرپلیکسیٹی آڈٹ تقریباً 0.0020 کی خالص تنزلی رپورٹ کرتا ہے۔ 32D، 16D، 8D، اور 4D لیٹنٹ جہتوں میں ایک ریٹ-ڈسٹورشن سویپ پیش کیا گیا ہے، جس میں 16D کو بہترین Pareto فرنٹیئر پوائنٹ کے طور پر شناخت کیا گیا ہے۔ ایک کنکرنسی اسکیلنگ ٹیبل 1 سے 16 تک بیچ سائز دکھاتی ہے جس میں لکیری اوور ہیڈ اضافہ ہوتا ہے۔ صارفین کو نوٹ کرنا چاہیے کہ اس ریپوزٹری کا اوپن سورس حصہ صرف انٹرفیس اور آرکیسٹریشن پرت فراہم کرتا ہے۔ اصل کمپریشن الگورتھم ملکیتی Aegis-KV بائنری میں موجود ہیں، جو ریپوزٹری میں دستیاب نہیں ہے۔ بینچ مارک کے اعداد و شمار خود رپورٹ شدہ ہیں اور بند بائنری تک رسائی کے بغیر آزادانہ طور پر تصدیق نہیں کی جا سکتے۔ بیان کردہ ماڈل آرکیٹیکچر کے نسبت رپورٹ شدہ کمپریشن تناسب کی ریاضیاتی مستقل مزاجی کا اندازہ ممکنہ صارفین کو ان نتائج پر انحصار کرنے سے پہلے کرنا چاہیے۔