这个项目能做什么

Unsloth 为本地 AI 提供了一个全面的生态系统,提供三种主要界面:Unsloth Desktop(原生应用)、Unsloth Studio(Web UI)和 Unsloth Core(基于代码)。它支持广泛的硬件,包括 NVIDIA、AMD、Intel GPU、CPU 以及 Vulkan 后端。 核心能力包括: - 模型执行与训练:支持运行和微调 LLM、扩散模型、嵌入模型和音频模型(例如 Qwen, DeepSeek, Gemma 4)。其优化的训练方案据称速度提升 2 倍,且 VRAM 占用减少 70%。 - 训练技术:支持 LoRA, QLoRA, 全量微调, 预训练, 强化学习 (RL), GRPO, DPO 以及 FP8。 - Agent 集成:通过 'unsloth start' 命令,可以使用兼容 OpenAI 的 API 将本地模型连接到 Claude Code, Codex 等 Agent。 - RAG 与搜索:包含私有网页搜索、深度研究以及检索增强生成 (RAG) 功能。 - 部署:能够以多种格式导出模型,包括 GGUF, NVFP4 和 FP8。 - 数据管理:提供利用 Data Recipes 从 PDF, CSV 和 DOCX 文件构建数据集的工具。 - 远程访问:支持通过局域网 (LAN) 或通过 Cloudflare HTTPS 安全地提供本地模型服务。