इस प्रोजेक्ट के बारे में

labml.ai 60 से ज़्यादा दस्तावेजीकृत PyTorch इंप्लीमेंटेशन प्रदान करता है जो डीप लर्निंग पेपर्स और एल्गोरिदम के लिए हैं, जिनमें से प्रत्येक के साथ उनकी आधिकारिक वेबसाइट पर प्रदर्शित साइड-बाय-साइड स्पष्टीकरण नोट्स हैं। इस प्रोजेक्ट का मुख्य उद्देश्य स्पष्ट, एनोटेड कोड के माध्यम से सीखने वालों को यह समझने में मदद करना है कि ये एल्गोरिदम वास्तव में कैसे काम करते हैं। यह रिपॉजिटरी कई विषयों को कवर करती है: - **ट्रांसफॉर्मर**: ओरिजिनल ट्रांसफॉर्मर, Transformer XL, स्विच ट्रांसफॉर्मर, फीडबैक ट्रांसफॉर्मर, ViT, FNet, ALiBi, रोटरी पोजिशनल एम्बेडिंग्स, MLP-Mixer, gMLP और अन्य। - **डिफ्यूजन मॉडल**: DDPM, DDIM, लेटेंट डिफ्यूजन और स्टेबल डिफ्यूजन के इंप्लीमेंटेशन। - **जनरेटिव एडवर्सेरियल नेटवर्क**: ओरिजिनल GAN, DCGAN, CycleGAN, वॉसरस्टीन GAN, StyleGAN2। - **रिइन्फोर्समेंट लर्निंग**: GAE के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO), ड्यूलिंग नेटवर्क के साथ डीप क्यू-नेटवर्क (DQN), प्राइओरिटाइज्ड रिप्ले और डबल क्यू। - **ऑप्टिमाइजर**: एडम, AMSGrad, AdaBelief, Sophia-G, रेक्टिफाइड एडम, नोम और अन्य। - **आर्किटेक्चर**: रेज़नेट, कैप्सूल नेटवर्क, LSTM, रीकरेंट हाईवे नेटवर्क, यू-नेट, ग्राफ न्यूरल नेटवर्क (GAT, GATv2), हाइपरनेटवर्क। - **नॉर्मलाइजेशन**: बैच नॉर्म, लेयर नॉर्म, इंस्टेंस नॉर्म, ग्रुप नॉर्म, वेट स्टैंडर्डाइजेशन, डीपनॉर्म। - **अन्य विषय**: नॉलेज डिस्टिलेशन, एडैप्टिव कंप्यूटेशन (PonderNet), अनसर्टेन्टी क्वांटिफिकेशन, लैंग्वेज मॉडल सैंपलिंग तकनीकें (ग्रीडी, टेम्परेचर, टॉप-क, न्यूक्लियस) और Zero3 मेमोरी ऑप्टिमाइजेशन के साथ स्केलेबल ट्रेनिंग। इंस्टॉलेशन: `pip install labml-nn` संबंधित वेबसाइट nn.labml.ai इंप्लीमेंटेशन को फॉर्मेटेड शैक्षिक नोट्स के रूप में प्रदर्शित करती है।