llamafactory

LlamaFactory는 대규모 언어 모델(LLM)과 멀티모달 모델을 파인튜닝하기 위한 오픈소스 프레임워크입니다. README에서는 LLaMA/LLaVA, Mistral, Mixtral, Qwen3/Qwen2.5-VL, DeepSeek, Gemma, GLM, Phi, GPT-OSS, InternVL 등 다양한 모델 패밀리 지원을 강조합니다. continued pre-training, supervised fine-tuning, reward modeling, 그리고 PPO, DPO, KTO, ORPO, SimPO와 같은 preference 또는 reinforcement learning 접근법 등 폭넓은 학습 방법을 통합합니다. 또한 full-parameter, freeze, LoRA, quantized QLoRA 튜닝을 지원하며, AQLM, AWQ, GPTQ, LLM.int8, HQQ, EETQ를 통한 2/3/4/5/6/8-bit 양자화를 포함합니다. 이 프로젝트는 GaLore, BAdam, APOLLO, Adam-mini, Muon, OFT, DoRA, LongLoRA, PiSSA, FlashAttention-2, Unsloth, Liger Kernel, RoPE scaling, NEFTune, rsLoRA와 같은 고급 옵티마이저와 성능 기법을 포함합니다. 최근 changelog 항목은 Megatron-core 학습 백엔드, SGLang 추론 지원, 그리고 GPT-OSS, Qwen2.5 Omni, GLM-4.1V-Thinking, Intern-S1-mini 모델에 대한 파인튜닝 지원도 언급합니다. LlamaFactory는 명령줄 인터페이스와 Gradio로 구축된 LLaMA Board Web UI를 통한 제로코드 사용법을 제공하며, Colab 노트북과 PAI-DSW, Hugging Face Spaces 같은 플랫폼용 클라우드 배포 템플릿도 제공합니다. 파인튜닝된 체크포인트는 내보내서 OpenAI 호환 API, Gradio 인터페이스 또는 CLI를 통해 서빙할 수 있으며, vLLM 또는 SGLang을 더 빠른 추론 백엔드로 사용할 수 있습니다. 실험 추적은 TensorBoard, WandB, MLflow, SwanLab, LlamaBoard로 지원됩니다. 모델과 데이터셋은 Hugging Face, ModelScope, Modelers Hub에서 다운로드할 수 있습니다. README는 또한 Amazon, NVIDIA, Aliyun의 사용 사례를 인용하고 문서, Docker 이미지, 샘플 노트북, 프로젝트 공식 블로그 링크를 제공합니다.