ods

ODS (Osmantic Deployment System) es una pila de servidor de IA autoalojada dirigida a personas que quieren IA privada en su propio hardware sin ensamblar manualmente una docena de servicios. El repositorio se encuentra actualmente en estado de Pre-Release V3: pruebas públicas y refinamiento antes de un lanzamiento oficial de V3, con una instantánea de código fuente fijada (v3.0.0) ofrecida para reproducibilidad. El README indica que la calificación completa de flotas está incompleta y remite a las notas de la versión y a un registro de promoción para conocer las limitaciones conocidas y las puertas restantes. Qué incluye ODS instala y conecta componentes que de otro modo se configurarían por separado. Las piezas documentadas incluyen: - Inferencia de modelos locales mediante llama-server, con selección de modelo basada en hardware. - Open WebUI como interfaz de chat en el navegador estilo ChatGPT. - Un panel de control para modelos, servicios, configuración, estado de GPU y extensiones, además de una API del panel. - LiteLLM como puerta de enlace de API compatible con modos local, en la nube e híbrido. - Embeddings TEI para flujos de trabajo de RAG y búsqueda. - Voz: Whisper para voz a texto y Kokoro para texto a voz. - Agentes y automatización: Portal (un asistente conversacional incluido en hosts macOS/Ubuntu/Debian con systemd calificados), Hermes Agent, el agente obsoleto OpenClaw, automatización de flujos de trabajo n8n, APE (Agent Policy Engine), OpenCode y Memory Shepherd. - Conocimiento y búsqueda: base de datos vectorial Qdrant, búsqueda autoalojada SearXNG, Perplexica e integración opcional con la API de Brave Search. - Creativo: ComfyUI para generación de imágenes basada en nodos. - Privacidad y operaciones: proxy de depuración de PII Privacy Shield, monitoreo de uso Token Spy y observabilidad opcional de Langfuse. Instalación y plataformas La instalación es un solo comando en Linux/macOS mediante un script alojado, y un bloque de PowerShell en Windows que descarga el ZIP del código fuente y ejecuta el instalador de Windows. Docker debe estar instalado y en ejecución; Windows requiere Docker Desktop con el backend WSL2 y una sesión de PowerShell que no sea de Administrador. Después de la instalación, la interfaz web está en localhost:3000. Se proporcionan comandos de desinstalación por plataforma. Plataformas compatibles según el README: Linux (NVIDIA y AMD Strix Halo), Windows (NVIDIA y AMD) y macOS Apple Silicon. Linux con Intel Arc mediante SYCL está marcado como experimental/Nivel C. Las distribuciones probadas incluyen Ubuntu, Debian, Linux Mint, Fedora, Rocky Linux, Arch, Manjaro, CachyOS y openSUSE Tumbleweed. macOS requiere Apple Silicon y ejecuta llama-server de forma nativa con aceleración Metal mientras otros servicios se ejecutan en Docker. Detección de hardware y modelos El instalador detecta la GPU, asigna un nivel de hardware y selecciona un modelo de un catálogo versionado (model-library.json) según la envolvente de memoria. La elección se escribe en .env como variables LLM_MODEL, GGUF_FILE, MAX_CONTEXT y MODEL_RECOMMENDATION_*. Perfiles como MODEL_PROFILE=qwen, gemma4 o auto influyen en la familia elegida, y la selección de nivel se puede anular en el momento de la instalación. El README enumera selecciones de catálogo de ejemplo para envolventes NVIDIA, AMD Strix Halo, Apple Silicon e Intel Arc, señalando que las instalaciones exactas pueden diferir y que el rendimiento requiere una evaluación comparativa local. Modo bootstrap De forma predeterminada, ODS descarga primero un modelo pequeño de 1.5B para que los usuarios puedan chatear rápidamente, luego descarga el modelo completo en segundo plano y lo intercambia en caliente. El bootstrap se puede omitir con --no-bootstrap. Gestión de modelos y CLI La CLI de ods cubre comprobaciones de estado y salud, listado de servicios, registros, reinicios, inicio/parada, cambio entre modos local/nube/híbrido, intercambios de nivel de modelo, habilitación o deshabilitación de extensiones, visualización de configuración enmascarada y guardado o carga de ajustes preestablecidos. La reversión del modelo se describe como automática si un modelo nuevo no se carga. Extensibilidad Cada servicio se trata como una extensión: una carpeta que contiene manifest.yaml y compose.yaml, descubierta automáticamente por el panel, la CLI, las comprobaciones de salud y la pila de compose. El instalador en sí se describe como modular, con módulos de biblioteca, un registro de servicios compartido y fases ordenadas. Posicionamiento El README enmarca ODS como una forma de evitar unir manualmente Ollama/llama.cpp, Open WebUI, n8n y herramientas de privacidad, y se compara con esos proyectos al agregar una pila de servidor circundante, un instalador y un plano de control. Enfatiza la operación local primero con modos opcionales de API en la nube o híbridos, y afirma que las indicaciones y los datos permanecen en la máquina a menos que el usuario elija lo contrario.