इस प्रोजेक्ट के बारे में

LLM कोर्स मैसेन लेबोन द्वारा एक खुला शैक्षिक संसाधन है जो लार्ज लैंग्वेज मॉडल की ज्ञान की पूरी श्रृंखला को आधारभूत सिद्धांत से लेकर व्यावहारिक इंजीनियरिंग तक कवर करता है। ## संरचना कोर्स को तीन मुख्य भागों में विभाजित किया गया है: 1. **LLM फंडामेंटल्स** — वैकल्पिक पृष्ठभूमि जिसमें मशीन लर्निंग के लिए गणित (रैखिक बीजगणित, कैलकुलस, प्रायिकता), Python डेटा साइंस लाइब्रेरियां, न्यूरल नेटवर्क के मूल सिद्धांत और प्राकृतिक भाषा प्रसंस्करण के आधारभूत ज्ञान जैसे टोकराइजेशन, एंबेडिंग्स और RNN शामिल हैं। 2. **द LLM साइंटिस्ट** — आधुनिक तकनीकों का उपयोग करके LLM बनाने पर केंद्रित है, जिसमें Transformer आर्किटेक्चर, टोकराइजेशन, अटेंशन मेकनिज्म, सैंपलिंग स्ट्रैटेजीज, डिस्ट्रीब्यूटेड प्री-ट्रॉइनिंग, पोस्ट-ट्रॉइनिंग डेटासेट, सुपरवाइज्ड फाइन-ट्यूनिंग, प्राथमिकता अलाइनमेंट (DPO/ORPO) और मूल्यांकन कवर किए जाते हैं। 3. **द LLM इंजीनियर** — LLM-आधारित एप्लिकेशन बनाने और डेप्लॉय करने पर केंद्रित है, जिसमें Ollama और text-generation-webui के साथ लोकल मॉडल डेप्लॉयमेंट, RAG पाइपलाइन्स, AI एजेंट्स और प्रोडक्शन मॉनिटरिंग कवर किए जाते हैं। ## Colab नोटबुक रिपोजिटरी में विषयों के अनुसार व्यवस्थित कई इंटरैक्टिव Google Colab नोटबुक शामिल हैं: **टूल्स**: LLM AutoEval, LazyMergekit (मॉडल मर्जिंग), LazyAxolotl (क्लाउड फाइन-ट्यूनिंग), AutoQuant (GGUF/GPTQ/EXL2/AWQ/HQQ में क्वांटिजेशन), मॉडल फैमिली ट्री विजुअलाइजेशन, ZeroSpace (फ्री Gradio डेप्लॉयमेंट), AutoAbliteration और AutoDedup। **फाइन-ट्यूनिंग**: Unsloth के साथ Llama 3.1, ORPO के साथ Llama 3, DPO और QLoRA के साथ Mistral-7b और Axolotl के साथ CodeLlama के फाइन-ट्यूनिंग के लिए नोट्स। **क्वांटिजेशन**: 8-बिट क्वांटिजेशन, GPTQ 4-बिट क्वांटिजेशन, llama.cpp के साथ GGUF और ExLlamaV2 के लिए गाइड्स। **अन्य**: MergeKit के साथ मॉडल मर्ज करना, MoE बनाना, Abliteration, ChatGPT के लिए नॉलेज ग्रॉफ़ ऑगमेंटेशन और डिकोडिंग स्ट्रैटेजीज। ## संबंधित संसाधन - एक सहचर पुस्तक, *LLM Engineer's Handbook*, एंड-टू-एंड एप्लिकेशन कवरेज के साथ पाठ्यक्रम सामग्री का विस्तार करती है। - एक DeepWiki संस्करण अधिक व्यापक नैरेटिव प्रारूप प्रदान करता है। - लेखक अतिरिक्त रिपो बनाए रखते हैं जिनमें [llm-datasets](https://github.com/mlabonne/llm-datasets) पोस्ट-ट्रॉइनिंग डेटा के लिए और [awesome-llm-training](https://github.com/mlabonne/awesome-llm-training) ट्रेनिंग संसाधनों के लिए शामिल हैं।