इस प्रोजेक्ट के बारे में
Unsloth स्थानीय AI के लिए एक व्यापक इकोसिस्टम प्रदान करता है, जिसमें तीन प्राथमिक इंटरफेस शामिल हैं: Unsloth Desktop (नेटिव ऐप), Unsloth Studio (वेब UI), और Unsloth Core (कोड-आधारित)। यह NVIDIA, AMD, Intel GPUs, CPUs और Vulkan बैकएंड सहित हार्डवेयर की एक विस्तृत श्रृंखला का समर्थन करता है।
मुख्य क्षमताओं में शामिल हैं:
- मॉडल निष्पादन और प्रशिक्षण: LLMs, डिफ्यूजन, एम्बेडिंग और ऑडियो मॉडल्स (जैसे Qwen, DeepSeek, Gemma 4) को चलाने और फाइन-ट्यून करने के लिए समर्थन। इसमें अनुकूलित प्रशिक्षण है जो 2 गुना तेज़ और 70% कम VRAM उपयोग का दावा करता है।
- प्रशिक्षण तकनीकें: LoRA, QLoRA, फुल फाइन-ट्यूनिंग, प्रीट्रेनिंग, Reinforcement Learning (RL), GRPO, DPO और FP8 का समर्थन करता है।
- एजेंट एकीकरण: 'unsloth start' कमांड OpenAI-संगत APIs के माध्यम से स्थानीय मॉडल्स को Claude Code, Codex और अन्य एजेंटों से जोड़ता है।
- RAG और सर्च: इसमें प्राइवेट वेब सर्च, डीप रिसर्च और Retrieval-Augmented Generation (RAG) क्षमताएं शामिल हैं।
- परिनियोजन (Deployment): GGUF, NVFP4 और FP8 सहित विभिन्न स्वरूपों में मॉडल्स को एक्सपोर्ट करने की क्षमता।
- डेटा प्रबंधन: Data Recipes का उपयोग करके PDF, CSV और DOCX फाइलों से डेटासेट बनाने के उपकरण।
- रिमोट एक्सेस: LAN पर या Cloudflare HTTPS के माध्यम से सुरक्षित रूप से स्थानीय मॉडल्स को सर्व करने का समर्थन करता है।