unsloth — Unsloth es una aplicación de escritorio y un framework para ejecutar y entrenar modelos de lenguaje extensos (LLMs) y modelos de difusión localmente en Windows, macOS y Linux.

Unsloth es una aplicación de escritorio y un framework para ejecutar y entrenar modelos de lenguaje extensos (LLMs) y modelos de difusión localmente en Windows, macOS y Linux.

Sobre el proyecto

Unsloth proporciona un ecosistema integral para la IA local, ofreciendo tres interfaces principales: Unsloth Desktop (aplicación nativa), Unsloth Studio (interfaz web) y Unsloth Core (basado en código). Es compatible con una amplia gama de hardware, incluyendo GPUs de NVIDIA, AMD, Intel, CPUs y el backend de Vulkan. Las capacidades clave incluyen: - Ejecución y Entrenamiento de Modelos: Soporte para ejecutar y ajustar LLMs, modelos de difusión, de embedding y de audio (por ejemplo, Qwen, DeepSeek, Gemma 4). Cuenta con un entrenamiento optimizado que afirma ser 2 veces más rápido con un uso de VRAM un 70% menor. - Técnicas de Entrenamiento: Soporta LoRA, QLoRA, ajuste fino completo, preentrenamiento, Aprendizaje por Refuerzo (RL), GRPO, DPO y FP8. - Integración de Agentes: El comando 'unsloth start' conecta modelos locales a agentes como Claude Code, Codex y otros a través de APIs compatibles con OpenAI. - RAG y Búsqueda: Incluye búsqueda web privada, investigación profunda y capacidades de Generación Aumentada por Recuperación (RAG). - Despliegue: Capacidad para exportar modelos en varios formatos, incluyendo GGUF, NVFP4 y FP8. - Gestión de Datos: Herramientas para crear conjuntos de datos a partir de archivos PDF, CSV y DOCX utilizando Data Recipes. - Acceso Remoto: Soporta el servicio de modelos locales a través de LAN o de forma segura mediante HTTPS de Cloudflare.