soup

Soup es una aplicación de línea de comandos diseñada para optimizar el ajuste fino y el post-entrenamiento de modelos de lenguaje grandes (LLMs). Su objetivo es eliminar la complejidad de la configuración de infraestructura, permitiendo a los usuarios entrenar modelos con un solo archivo de configuración YAML y un comando. Una característica clave es la transmisión por capas, que permite ajustar un modelo de 8B en una GPU de portátil de 4 GB al transmitir el modelo base congelado desde la RAM del host una capa de decodificador a la vez, logrando un alto rendimiento con un uso bajo de VRAM. La herramienta admite varias tareas de entrenamiento (SFT, DPO, GRPO, PPO, KTO, ORPO, SimPO, IPO, BCO, etc.), múltiples backends (transformers, MLX, Unsloth) y una amplia gama de modelos del HuggingFace Hub. Incluye una interfaz web para gestión de experimentos, herramientas de datos, evaluación, servicio y capacidades de exportación. El proyecto es de código abierto bajo Apache-2.0 y enfatiza el rendimiento medido sobre las afirmaciones, con un enfoque en contribuciones comunitarias y soporte limitado por hardware.