منصوبے کے بارے میں

یہ ریپوزٹری Sebastian Raschka کی کتاب *Build a Large Language Model (From Scratch)* کے لیے سرکاری معاون کوڈ ہے۔ یہ GPT نما LLM کی تیاری، پری ٹریننگ اور فائن ٹیوننگ کے لیے مرحلہ وار PyTorch عمل درآمد فراہم کرتی ہے، بغیر کسی بیرونی LLM لائبریری پر انحصار کے۔ اہم ابواب میں متن ڈیٹا کی پروسیسنگ اور BPE ٹوکنائزیشن، توجہ کے میکانزم، GPT ماڈل کی تعمیل، غیر لیبل شدہ ڈیٹا پر پری ٹریننگ، متن کی درجہ بندی کے لیے فائن ٹیوننگ، اور ہدایات کی فائن ٹیوننگ شامل ہیں۔ ہر باب میں Jupyter نوٹ بکس، خلاصہ شدہ Python اسکرپٹس، اور مشقوں کے حل شامل ہیں۔ ضمیمے PyTorch کی بنیادی باتیں، LoRA پیرامیٹر موثر فائن ٹیوننگ، اور تربیتی لوپ کی بہتریوں کا احاطہ کرتے ہیں۔ ریپوزٹری میں ٹوکنائزر موازنے، KV کیش، grouped-query attention، mixture-of-experts، اور Llama 3.2، Qwen3، Gemma 3 اور دیگر آرکیٹیکچرز کے from-scratch عمل درآمد جیسے بونس مواد بھی شامل ہیں۔ کوڈ عام لیپ ٹاپس پر چلانے کے لیے ڈیزائن کیا گیا ہے اور دستیاب ہونے پر GPUs استعمال کر سکتا ہے۔ مصنف نے ایک معاون ویڈیو کورس اور reasoning models کی تعمیر پر ایک سیکوئل کتاب کا بھی ذکر کیا ہے، نیز مباحثہ فورمز اور حوالہ جات کی تفصیلات کے روابط بھی شامل ہیں۔