llamafactory

LlamaFactory es un framework de código abierto para el ajuste fino de modelos de lenguaje grandes (LLM) y modelos multimodales. El README destaca el soporte para muchas familias de modelos, incluidas LLaMA/LLaVA, Mistral, Mixtral, Qwen3/Qwen2.5-VL, DeepSeek, Gemma, GLM, Phi, GPT-OSS, InternVL y otras. Integra una amplia gama de métodos de entrenamiento: preentrenamiento continuado, ajuste fino supervisado, modelado de recompensas y enfoques de preferencia o aprendizaje por refuerzo como PPO, DPO, KTO, ORPO y SimPO. También admite ajuste de parámetros completos, congelamiento, LoRA y QLoRA cuantizado, incluida la cuantización de 2/3/4/5/6/8 bits mediante AQLM, AWQ, GPTQ, LLM.int8, HQQ y EETQ. El proyecto incluye optimizadores avanzados y trucos de rendimiento: GaLore, BAdam, APOLLO, Adam-mini, Muon, OFT, DoRA, LongLoRA, PiSSA, FlashAttention-2, Unsloth, Liger Kernel, escalado RoPE, NEFTune y rsLoRA. Las entradas recientes del changelog también mencionan un backend de entrenamiento Megatron-core, soporte de inferencia SGLang y soporte de ajuste fino para los modelos GPT-OSS, Qwen2.5 Omni, GLM-4.1V-Thinking e Intern-S1-mini. LlamaFactory ofrece uso sin código a través de una interfaz de línea de comandos y la interfaz web LLaMA Board construida con Gradio, además de un cuaderno de Colab y plantillas de despliegue en la nube para plataformas como PAI-DSW y Hugging Face Spaces. Los checkpoints ajustados se pueden exportar y servir a través de una API compatible con OpenAI, una interfaz de Gradio o una CLI, con vLLM o SGLang disponibles como backends de inferencia más rápidos. El seguimiento de experimentos es compatible con TensorBoard, WandB, MLflow, SwanLab y LlamaBoard. Los modelos y conjuntos de datos se pueden descargar desde Hugging Face, ModelScope y Modelers Hub. El README también cita su uso por parte de Amazon, NVIDIA y Aliyun, y enlaza a documentación, imágenes de Docker, cuadernos de ejemplo y el blog oficial del proyecto.