इस प्रोजेक्ट के बारे में

यह रिपॉजिटरी Sebastian Raschka की पुस्तक *Build a Large Language Model (From Scratch)* के लिए आधिकारिक साथी कोड है। यह GPT-जैसे LLM को विकसित करने, प्रीट्रेन करने और फाइनट्यून करने के लिए चरण-दर-चरण PyTorch कार्यान्वयन प्रदान करती है, बिना किसी बाहरी LLM लाइब्रेरी पर निर्भरता के। मुख्य अध्यायों में टेक्स्ट डेटा प्रोसेसिंग और BPE टोकनाइज़ेशन, अटेंशन मेकैनिज़्म, GPT मॉडल का कार्यान्वयन, अनलेबल्ड डेटा पर प्रीट्रेनिंग, टेक्स्ट क्लासिफिकेशन के लिए फाइनट्यूनिंग, और इंस्ट्रक्शन फाइनट्यूनिंग शामिल हैं। प्रत्येक अध्याय में Jupyter नोटबुक, संक्षिप्त Python स्क्रिप्ट, और अभ्यास समाधान शामिल हैं। परिशिष्टों में PyTorch बेसिक्स, LoRA पैरामीटर-कुशल फाइनट्यूनिंग, और ट्रेनिंग-लूप संवर्धन शामिल हैं। रिपॉजिटरी में टोकनाइज़र तुलनाएँ, KV कैश, grouped-query attention, mixture-of-experts, और Llama 3.2, Qwen3, Gemma 3 तथा अन्य आर्किटेक्चर के फ्रॉम-स्क्रैच कार्यान्वयन जैसी बोनस सामग्री भी है। कोड सामान्य लैपटॉप पर चलने के लिए डिज़ाइन किया गया है और उपलब्ध होने पर GPU का उपयोग कर सकता है। लेखक एक साथी वीडियो कोर्स और रीज़निंग मॉडल बनाने पर एक सीक्वल पुस्तक का भी उल्लेख करते हैं, साथ ही चर्चा फ़ोरम और उद्धरण विवरण के लिंक देते हैं।