soup

Soup é um aplicativo de linha de comando projetado para simplificar o ajuste fino e o pós-treinamento de grandes modelos de linguagem (LLMs). Ele visa eliminar a complexidade da configuração de infraestrutura, permitindo que os usuários treinem modelos com um único arquivo de configuração YAML e um comando. Um recurso chave é o streaming de camadas, que permite o ajuste fino de um modelo 8B em uma GPU de laptop de 4 GB, transmitindo o modelo base congelado da RAM do host uma camada decodificadora por vez, alcançando alta taxa de transferência com baixo uso de VRAM. A ferramenta suporta várias tarefas de treinamento (SFT, DPO, GRPO, PPO, KTO, ORPO, SimPO, IPO, BCO, etc.), múltiplos backends (transformers, MLX, Unsloth) e uma ampla variedade de modelos do HuggingFace Hub. Inclui uma interface web para gerenciamento de experimentos, ferramentas de dados, avaliação, serviço e capacidades de exportação. O projeto é de código aberto sob Apache-2.0 e enfatiza desempenho medido em vez de alegações, com foco em contribuições da comunidade e desenvolvimento condicionado por hardware.