প্রকল্প সম্পর্কে

LlamaFactory হলো বড় ভাষা মডেল (LLM) এবং মাল্টিমোডাল মডেল ফাইন-টিউনিংয়ের জন্য একটি ওপেন-সোর্স ফ্রেমওয়ার্ক। README-তে অনেক মডেল পরিবারের সমর্থন তুলে ধরা হয়েছে, যার মধ্যে রয়েছে LLaMA/LLaVA, Mistral, Mixtral, Qwen3/Qwen2.5-VL, DeepSeek, Gemma, GLM, Phi, GPT-OSS, InternVL এবং অন্যান্য। এটি বিস্তৃত প্রশিক্ষণ পদ্ধতি সংযুক্ত করে: continued pre-training, supervised fine-tuning, reward modeling, এবং PPO, DPO, KTO, ORPO, SimPO-এর মতো preference বা reinforcement learning পদ্ধতি। এটি full-parameter, freeze, LoRA এবং quantized QLoRA টিউনিং সমর্থন করে, যার মধ্যে AQLM, AWQ, GPTQ, LLM.int8, HQQ এবং EETQ-এর মাধ্যমে 2/3/4/5/6/8-bit quantization অন্তর্ভুক্ত। প্রকল্পটিতে উন্নত অপটিমাইজার ও পারফরম্যান্স কৌশল রয়েছে: GaLore, BAdam, APOLLO, Adam-mini, Muon, OFT, DoRA, LongLoRA, PiSSA, FlashAttention-2, Unsloth, Liger Kernel, RoPE scaling, NEFTune এবং rsLoRA। সাম্প্রতিক changelog এ Megatron-core training backend, SGLang inference support, এবং GPT-OSS, Qwen2.5 Omni, GLM-4.1V-Thinking, Intern-S1-mini মডেলের ফাইন-টিউনিং সমর্থনের কথাও উল্লেখ আছে। LlamaFactory কমান্ড-লাইন ইন্টারফেস এবং Gradio দিয়ে তৈরি LLaMA Board Web UI-এর মাধ্যমে জিরো-কোড ব্যবহার প্রদান করে, সাথে একটি Colab notebook এবং PAI-DSW ও Hugging Face Spaces-এর মতো প্ল্যাটফর্মের জন্য cloud deployment template। ফাইন-টিউন করা checkpoint export করে OpenAI-compatible API, একটি Gradio interface বা CLI-এর মাধ্যমে serve করা যায়, যেখানে দ্রুততর inference backend হিসেবে vLLM বা SGLang পাওয়া যায়। TensorBoard, WandB, MLflow, SwanLab এবং LlamaBoard দিয়ে experiment tracking সমর্থিত। মডেল ও ডেটাসেট Hugging Face, ModelScope এবং Modelers Hub থেকে ডাউনলোড করা যায়। README-তে Amazon, NVIDIA এবং Aliyun-এর ব্যবহারের উল্লেখও আছে, এবং documentation, Docker image, sample notebook ও প্রকল্পের অফিসিয়াল ব্লগের লিঙ্ক রয়েছে।