unsloth

Unsloth는 세 가지 주요 인터페이스인 Unsloth Desktop(네이티브 앱), Unsloth Studio(웹 UI), Unsloth Core(코드 기반)를 통해 로컬 AI를 위한 포괄적인 생태계를 제공합니다. NVIDIA, AMD, Intel GPU, CPU 및 Vulkan 백엔드를 포함한 광범위한 하드웨어를 지원합니다. 주요 기능은 다음과 같습니다: - 모델 실행 및 학습: LLM, 확산, 임베딩 및 오디오 모델(예: Qwen, DeepSeek, Gemma 4)의 실행 및 미세 조정을 지원합니다. 최적화된 학습을 통해 VRAM 사용량을 70% 줄이면서 속도는 2배 더 빠르다고 주장합니다. - 학습 기법: LoRA, QLoRA, 전체 미세 조정(full fine-tuning), 사전 학습(pretraining), 강화 학습(RL), GRPO, DPO 및 FP8을 지원합니다. - 에이전트 통합: 'unsloth start' 명령을 통해 OpenAI 호환 API를 사용하여 로컬 모델을 Claude Code, Codex 및 기타 에이전트에 연결합니다. - RAG 및 검색: 프라이빗 웹 검색, 심층 연구 및 검색 증강 생성(RAG) 기능을 포함합니다. - 배포: GGUF, NVFP4, FP8을 포함한 다양한 형식으로 모델을 내보낼 수 있습니다. - 데이터 관리: Data Recipes를 사용하여 PDF, CSV, DOCX 파일에서 데이터셋을 구축하는 도구를 제공합니다. - 원격 액세스: LAN 또는 Cloudflare HTTPS를 통해 로컬 모델을 안전하게 제공하는 기능을 지원합니다.