Sobre el proyecto
llm-local es una capa de abstracción ligera para Modelos de Lenguaje Extensos (LLMs) locales. Proporciona una API unificada y una interfaz de línea de comandos (CLI) para interactuar con varios proveedores de modelos locales, simplificando el proceso de cambio entre diferentes backends.
Las capacidades clave incluyen:
- API Unificada: Una interfaz consistente para generar texto y respuestas en streaming a través de diferentes proveedores.
- Descubrimiento de Proveedores: Descubrimiento y listado automático de los proveedores locales disponibles y sus modelos.
- Herramienta CLI: Un comando `llm` listo para usar que admite el historial de conversaciones de varios turnos y un modo 'think' conmutable.
- Proveedores Soportados: Soporte nativo para Ollama (vía `/api/chat`) y LM Studio (vía `/api/v1/chat`), con la capacidad de registrar instancias de proveedores personalizados.
- Integración Flexible: Puede instalarse como una herramienta CLI global o como una dependencia en proyectos de TypeScript/JavaScript.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.