unsloth — Unsloth é um aplicativo de desktop e framework para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão localmente no Windows, macOS e Linux.

Unsloth é um aplicativo de desktop e framework para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão localmente no Windows, macOS e Linux.

Sobre o projeto

O Unsloth fornece um ecossistema abrangente para IA local, oferecendo três interfaces principais: Unsloth Desktop (app nativo), Unsloth Studio (web UI) e Unsloth Core (baseado em código). Ele suporta uma ampla gama de hardware, incluindo GPUs NVIDIA, AMD, Intel, CPUs e o backend Vulkan. As principais capacidades incluem: - Execução e Treinamento de Modelos: Suporte para execução e ajuste fino de LLMs, difusão, embedding e modelos de áudio (ex: Qwen, DeepSeek, Gemma 4). Possui treinamento otimizado que afirma ser 2x mais rápido com 70% menos uso de VRAM. - Técnicas de Treinamento: Suporta LoRA, QLoRA, ajuste fino completo, pré-treinamento, Aprendizado por Reforço (RL), GRPO, DPO e FP8. - Integração de Agentes: O comando 'unsloth start' conecta modelos locais a agentes como Claude Code, Codex e outros via APIs compatíveis com OpenAI. - RAG e Busca: Inclui busca web privada, pesquisa profunda e capacidades de Geração Aumentada de Recuperação (RAG). - Implantação: Capacidade de exportar modelos em vários formatos, incluindo GGUF, NVFP4 e FP8. - Gestão de Dados: Ferramentas para construir conjuntos de dados a partir de arquivos PDF, CSV e DOCX usando Data Recipes. - Acesso Remoto: Suporta a disponibilização de modelos locais via LAN ou de forma segura via Cloudflare HTTPS.