soup

Soup은 대규모 언어 모델(LLM)의 미세 조정 및 후속 학습을 간소화하도록 설계된 명령줄 애플리케이션입니다. 인프라 설정의 복잡성을 제거하여 사용자가 단일 YAML 구성 파일과 하나의 명령으로 모델을 학습할 수 있도록 하는 것을 목표로 합니다. 핵심 기능은 레이어 스트리밍으로, 호스트 RAM에서 고정된 기본 모델을 한 번에 하나의 디코더 레이어씩 스트리밍하여 4GB 노트북 GPU에서 8B 모델을 미세 조정할 수 있게 하며, 낮은 VRAM 사용량으로 높은 처리량을 달성합니다. 이 도구는 다양한 학습 작업(SFT, DPO, GRPO, PPO, KTO, ORPO, SimPO, IPO, BCO 등), 여러 백엔드(transformers, MLX, Unsloth), 그리고 HuggingFace Hub의 다양한 모델을 지원합니다. 실험 관리, 데이터 도구, 평가, 서빙, 내보내기 기능을 위한 웹 UI를 포함합니다. 이 프로젝트는 Apache-2.0 라이선스의 오픈 소스이며, 주장보다는 측정된 성능을 강조하고 커뮤니티 기여와 하드웨어 기반 개발에 중점을 둡니다.