عن المشروع

هذا المستودع هو الشيفرة المصاحبة الرسمية لكتاب *Build a Large Language Model (From Scratch)* لمؤلفه Sebastian Raschka. يقدم تطبيقات PyTorch خطوة بخطوة لتطوير نموذج لغوي كبير شبيه بـ GPT وتدريبه المسبق وضبطه الدقيق، دون الاعتماد على مكتبات LLM خارجية. تغطي الفصول الرئيسية معالجة بيانات النصوص وتقطيع BPE، وآليات الانتباه، وتنفيذ نموذج GPT، والتدريب المسبق على بيانات غير موسومة، والضبط الدقيق لتصنيف النصوص، والضبط الدقيق بالتعليمات. يتضمن كل فصل دفاتر Jupyter، ونصوص Python ملخصة، وحلول التمارين. تغطي الملاحق أساسيات PyTorch، والضبط الدقيق الفعال للمعاملات LoRA، وتحسينات حلقة التدريب. يحتوي المستودع أيضًا على مواد إضافية مثل مقارنات المُقطِّعات، وKV cache، والانتباه متعدد الاستعلامات المجمّع، ومزيج الخبراء، وتطبيقات من الصفر لـ Llama 3.2 وQwen3 وGemma 3 ومعماريات أخرى. صُمم الكود ليعمل على الحواسيب المحمولة التقليدية ويمكنه استخدام وحدات GPU إن توفرت. يذكر المؤلف أيضًا دورة فيديو مصاحبة وكتابًا تاليًا حول بناء نماذج الاستدلال، بالإضافة إلى روابط لمنتديات النقاش وتفاصيل الاقتباس.