عن المشروع

LlamaFactory هو إطار عمل مفتوح المصدر للضبط الدقيق لنماذج اللغة الكبيرة (LLMs) والنماذج متعددة الوسائط. يسلط README الضوء على دعم العديد من عائلات النماذج، بما في ذلك LLaMA/LLaVA وMistral وMixtral وQwen3/Qwen2.5-VL وDeepSeek وGemma وGLM وPhi وGPT-OSS وInternVL وغيرها. يدمج مجموعة واسعة من طرق التدريب: التدريب المسبق المستمر، والضبط الدقيق الخاضع للإشراف، ونمذجة المكافآت، وأساليب التفضيل أو التعلم المعزز مثل PPO وDPO وKTO وORPO وSimPO. كما يدعم الضبط بكامل المعاملات، والتجميد، وLoRA، وQLoRA المُكمَّم، بما في ذلك التكميم 2/3/4/5/6/8-بت عبر AQLM وAWQ وGPTQ وLLM.int8 وHQQ وEETQ. يتضمن المشروع محسّنات متقدمة وتقنيات أداء: GaLore وBAdam وAPOLLO وAdam-mini وMuon وOFT وDoRA وLongLoRA وPiSSA وFlashAttention-2 وUnsloth وLiger Kernel وRoPE scaling وNEFTune وrsLoRA. تذكر إدخالات سجل التغييرات الأخيرة أيضًا خلفية تدريب Megatron-core، ودعم استدلال SGLang، ودعم الضبط الدقيق لنماذج GPT-OSS وQwen2.5 Omni وGLM-4.1V-Thinking وIntern-S1-mini. يوفر LlamaFactory استخدامًا بدون كود عبر واجهة سطر الأوامر وواجهة LLaMA Board Web UI المبنية باستخدام Gradio، بالإضافة إلى دفتر ملاحظات Colab وقوالب نشر سحابي لمنصات مثل PAI-DSW وHugging Face Spaces. يمكن تصدير نقاط التحقق المضبوطة وتقديمها عبر واجهة برمجة تطبيقات متوافقة مع OpenAI، أو واجهة Gradio، أو CLI، مع توفر vLLM أو SGLang كخلفيات استدلال أسرع. يتم دعم تتبع التجارب باستخدام TensorBoard وWandB وMLflow وSwanLab وLlamaBoard. يمكن تنزيل النماذج ومجموعات البيانات من Hugging Face وModelScope وModelers Hub. يذكر README أيضًا استخدامها من قبل Amazon وNVIDIA وAliyun، ويربط بالوثائق وصور Docker ودفاتر الملاحظات النموذجية ومدونة المشروع الرسمية.