इस प्रोजेक्ट के बारे में

यूनिफाइड लेटेंट-स्टेट मेमोरी फैब्रिक (UL-SMF) को एक हार्डवेयर-सॉफ्टवेयर सह-डिज़ाइन किए गए मेमोरी संपीड़न फैब्रिक के रूप में प्रस्तुत किया गया है, जो लंबे-संदर्भ ट्रांसफॉर्मर अनुमान में मेमोरी बाधा को लक्षित करता है। बताया गया दृष्टिकोण फिनाइट स्केलर क्वांटाइजेशन (FSQ) को एक गतिशील 16-आयामी लेटेंट मैपिंग के साथ जोड़ता है, जिसे एजिस-केवी ओरेकल कोर नामक एक मालिकाना घटक के माध्यम से कार्यान्वित किया जाता है। परियोजना का दावा है कि यह की-वैल्यू (KV) कैश टेंसर को 384x तक संपीड़ित करता है, जबकि 94% से अधिक सिमेंटिक सामग्री बनाए रखता है। रिपॉजिटरी AGPLv3 लाइसेंस के तहत है और Python 3.10+ और PyTorch 2.0+ की आवश्यकता है। हालांकि, एक महत्वपूर्ण संरचनात्मक सीमा README में प्रमुखता से प्रलेखित है: जबकि ऑर्केस्ट्रेशन फ्रेमवर्क और इंटरफेस ओपन-सोर्स हैं, पूर्ण उत्पादन पाइपलाइन एक संकलित मालिकाना बाइनरी (`aegis_kv_oracle_core.pt`) पर निर्भर करती है जो रिपॉजिटरी में शामिल नहीं है। ओपन-सोर्स क्विकस्टार्ट स्क्रिप्ट पाइपलाइन संरचना और डेटा प्रवाह को परिभाषित करती है, लेकिन वास्तविक संपीड़न का स्थानीय निष्पादन इस लाइसेंस प्राप्त कोर बाइनरी पर निर्भर करता है। वाणिज्यिक लाइसेंस धारकों को अनुकूलित बाइनरी, एकीकरण समर्थन और शून्य-प्रतिलिपि VRAM रूटिंग के लिए एक अलग संपर्क पते (inquiries@lawrencearchitectures.com) पर निर्देशित किया जाता है। README में कई बेंचमार्क तालिकाएँ शामिल हैं। `unsloth/llama-3-8b-Instruct-bnb-4bit` पर एक मल्टी-नीडल संदर्भ पुनर्प्राप्ति परीक्षण 4,892 टोकन पर 128D-से-16D संपीड़न के साथ तीन लक्ष्यों में 100% पुनर्प्राप्ति निष्ठा की रिपोर्ट करता है। एक हार्डवेयर प्रोफाइलिंग तालिका 3% जनरेशन गति ओवरहेड के साथ 14.66% VRAM कमी (1317.52 MB से 1124.34 MB) की रिपोर्ट करती है। एक पृथक टेंसर प्रोफाइलिंग तालिका 4096 टोकन के लिए 384x कमी (48.00 MB से 0.12 MB) का दावा करती है। WikiText-2 पर एक पर्प्लेक्सिटी ऑडिट लगभग 0.0020 की शुद्ध गिरावट की रिपोर्ट करता है। 32D, 16D, 8D और 4D लेटेंट आयामों में एक दर-विरूपण स्वीप प्रस्तुत किया गया है, जो 16D को इष्टतम पेरेटो फ्रंटियर बिंदु के रूप में पहचानता है। एक समवर्ती स्केलिंग तालिका 1 से 16 तक बैच आकार दिखाती है जिसमें रैखिक ओवरहेड वृद्धि होती है। उपयोगकर्ताओं को ध्यान देना चाहिए कि इस रिपॉजिटरी का ओपन-सोर्स हिस्सा केवल इंटरफेस और ऑर्केस्ट्रेशन परत प्रदान करता है। वास्तविक संपीड़न एल्गोरिदम मालिकाना एजिस-केवी बाइनरी में रहते हैं, जो रिपॉजिटरी में उपलब्ध नहीं है। बेंचमार्क आंकड़े स्व-रिपोर्ट किए गए हैं और बंद बाइनरी तक पहुंच के बिना स्वतंत्र रूप से सत्यापित नहीं किए जा सकते हैं। बताए गए मॉडल आर्किटेक्चर के सापेक्ष रिपोर्ट किए गए संपीड़न अनुपात की गणितीय स्थिरता का मूल्यांकन संभावित उपयोगकर्ताओं द्वारा इन परिणामों पर भरोसा करने से पहले किया जाना चाहिए।