unsloth — Unsloth — это десктопное приложение и фреймворк для локального запуска и обучения больших языковых моделей (LLM) и диффузионных моделей на Windows, macOS и Linux.

Unsloth — это десктопное приложение и фреймворк для локального запуска и обучения больших языковых моделей (LLM) и диффузионных моделей на Windows, macOS и Linux.

Об этом проекте

Unsloth предоставляет комплексную экосистему для локального ИИ, предлагая три основных интерфейса: Unsloth Desktop (нативное приложение), Unsloth Studio (веб-интерфейс) и Unsloth Core (на базе кода). Он поддерживает широкий спектр оборудования, включая GPU NVIDIA, AMD, Intel, CPU и бэкенд Vulkan. Ключевые возможности включают: - Выполнение и обучение моделей: поддержка запуска и тонкой настройки LLM, диффузионных, эмбеддинг- и аудиомоделей (например, Qwen, DeepSeek, Gemma 4). Оптимизированное обучение, по заявлениям, работает в 2 раза быстрее с использованием на 70% меньше VRAM. - Методы обучения: поддержка LoRA, QLoRA, полного дообучения (full fine-tuning), предварительного обучения (pretraining), обучения с подкреплением (RL), GRPO, DPO и FP8. - Интеграция агентов: команда 'unsloth start' подключает локальные модели к таким агентам, как Claude Code, Codex и другим, через API, совместимые с OpenAI. - RAG и поиск: включает возможности приватного веб-поиска, глубоких исследований и генерации с дополненной выборкой (RAG). - Развертывание: возможность экспорта моделей в различных форматах, включая GGUF, NVFP4 и FP8. - Управление данными: инструменты для создания наборов данных из PDF, CSV и DOCX файлов с помощью Data Recipes. - Удаленный доступ: поддержка предоставления доступа к локальным моделям через LAN или безопасно через Cloudflare HTTPS.