इस प्रोजेक्ट के बारे में

## परियोजना अवलोकन यह रिपॉजिटरी पेपर "Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models" का आधिकारिक कार्यान्वयन है, जिसे DeepSeek द्वारा जारी किया गया है। यह "कंडीशनल मेमोरी" (conditional memory) का अध्ययन करता है, जो मिक्सचर ऑफ एक्सपर्ट्स (MoE) के पूरक स्पार्सिटी का एक आयाम है, और इसे Engram मॉड्यूल के रूप में उदाहरणित करता है—क्लासिक N-gram एम्बेडिंग का आधुनिकीकरण, जो O(1) लुकअप प्राप्त करता है। ## मुख्य सामग्री - **स्पार्सिटी आवंटन**: पेपर न्यूरल कंप्यूटेशन (MoE) और स्टैटिक मेमोरी (Engram) के बीच ट्रेड-ऑफ को औपचारिक रूप देता है, क्षमता आवंटन का मार्गदर्शन करने के लिए U-आकार का स्केलिंग नियम प्रस्तावित करता है। - **अनुभवजन्य सत्यापन**: समान पैरामीटर और समान FLOPs बाधाओं के तहत, Engram-27B मॉडल ज्ञान, तर्क, कोड और गणित क्षेत्रों में MoE बेसलाइन की तुलना में लगातार सुधार दिखाता है। - **तंत्र विश्लेषण**: विश्लेषण से पता चलता है कि Engram प्रारंभिक परतों पर स्थिर पैटर्न के पुनर्निर्माण का बोझ कम कर सकता है, जिससे जटिल तर्क के लिए प्रभावी गहराई संरक्षित रह सकती है। - **सिस्टम दक्षता**: मॉड्यूल नियतात्मक एड्रेसिंग का उपयोग करता है, जिससे विशाल एम्बेडिंग टेबल को होस्ट मेमोरी में उतारा जा सकता है, जिससे इन्फ्रेंस ओवरहेड न्यूनतम होता है। ## आर्किटेक्चर और मूल्यांकन Engram मॉड्यूल स्थिर N-gram मेमोरी को पुनर्प्राप्त करके और गतिशील हिडन स्टेट्स के साथ विलय करके बैकबोन नेटवर्क को बढ़ाता है; रिपॉजिटरी आर्किटेक्चर आरेख और drawio स्रोत फ़ाइलें प्रदान करता है। मूल्यांकन भाग में स्केलिंग नियम, बड़े पैमाने पर प्री-ट्रेनिंग, लंबे-संदर्भ प्रशिक्षण और केस स्टडीज़ के चार्ट शामिल हैं। ## त्वरित आरंभ Python 3.8+ और PyTorch अनुशंसित हैं; निर्भरताएँ स्थापित करने के बाद डेमो स्क्रिप्ट चलाकर Engram मॉड्यूल का मुख्य तर्क देखा जा सकता है। ध्यान दें कि यह कोड डेमो संस्करण है, जो Attention/MoE/mHC जैसे मानक घटकों का अनुकरण करता है, और Engram मॉड्यूल के डेटा प्रवाह पर केंद्रित है। ## लाइसेंस और संपर्क मॉडल का उपयोग रिपॉजिटरी के भीतर LICENSE द्वारा नियंत्रित है; प्रश्न issue या ईमेल के माध्यम से भेजे जा सकते हैं।