عن المشروع

يُعد مسار LLM موردًا تعليميًا مفتوحًا من إعداد ماكسيم لوبون يغطي الطيف الكامل لمعرفة نماذج اللغات الكبيرة، بدءًا من الأسس النظرية وصولاً إلى الهندسة العملية. ## الهيكل تتنقسم الدورة إلى ثلاثة أجزاء رئيسية: 1. **أساسيات النماذج اللغوية الكبيرة** — خلفية اختيارية تغطي الرياضيات اللازمة للتعلم الآلي (الجبر الخطي، حساب التفاضل والتكامل، الاحتمالات)، ومكتبات علوم البيانات بلغة بايثون، والأساسيات الخاصة بالشبكات العصبية، ومبادئ معالجة اللغات الطبيعية بما في ذلك الترميز (tokenization)، والتضمينات، والشبكات العصبية المتكررة. 2. **عالم بناء النماذج اللغوية** — يركز على بناء نماذج لغوية كبيرة باستخدام تقنيات حديثة، ويغطي بنية المحوّل (Transformer)، والترميز، وآليات الانتباه (attention)، واستراتيجيات العينات، والتدريب المسبق الموزع، وبيانات ما بعد التدريب، والضبط الدقيق supervised fine-tuning، ومواءمة التفضيلات (DPO/ORPO)، والتقييم. 3. **هندسة النماذج اللغوية** — يركز على إنشاء ونشر التطبيقات المعتمدة على نماذج لغوية كبيرة، ويغطي النشر المحلي للنماذج باستخدام Ollama وtext-generation-webui، وأنابيب RAG، والوكلاء الذكاء الاصطناعيين، ومراقبة الإنتاج. ## مسابير Colab يتضمن المستودع العديد من مسابير Google Colab التفاعلية المرتبة حسب الموضوع: **الأدوات**: LLM AutoEval، LazyMergekit (دمج النماذج)، LazyAxolotl (ضبط دقيق سحابي)، AutoQuant (الضغط بصيغ GGUF/GPTQ/EXL2/AWQ/HQQ)، عرض شجرة عائلة النماذج، ZeroSpace (نشر Gradio مجاني)، AutoAbliteration، وAutoDedup. **الضبط الدقيق**: ملاحظات لضبط Llama 3.1 باستخدام Unsloth، وLlama 3 مع ORPO، وMistral-7b مع DPO وQLoRA، وCodeLlama باستخدام Axolotl. **الضغط**: أدلة للضغط ثمانية بت، وضغط GPTQ بدرجتين، وGGUF باستخدام llama.cpp، وExLlamaV2. **أخرى**: دمج النماذج بـ MergeKit، وإنشاء شبكات MoE، والأبليريشن، وتعزيز الرسوم البيانية المعرفية لـ ChatGPT، واستراتيجيات التفكيك. ## موارد ذات صلة - كتاب مرافق بعنوان *LLM Engineer's Handbook* يوسع نطاق مواد المسار بتغطية تطبيقية شاملة. - نسخة DeepWiki توفر صيغة سردية أكثر شمولاً. - يحافظ المؤلف على مستودعات إضافية منها [llm-datasets](https://github.com/mlabonne/llm-datasets) لبيانات ما بعد التدريب، و[awesome-llm-training](https://github.com/mlabonne/awesome-llm-training) لموارد التدريب.