local-optimind-api

Local OptiMind API es una puerta de enlace de código abierto que se ejecuta localmente y enruta solicitudes de LLM a través de múltiples proveedores de IA (OpenAI, DeepSeek, Anthropic, Groq, Together, LLMs locales) utilizando un único endpoint compatible con OpenAI. Selecciona inteligentemente el proveedor óptimo para cada solicitud basándose en modos configurables: prioridad de costo, prioridad de calidad o equilibrado. El sistema incluye descubrimiento automático de modelos, niveles de precios personalizados, seguimiento de salud con backoff exponencial, registro de solicitudes y soporte de streaming SSE. Un panel de administración permite gestionar proveedores, modelos, precios y visualizar registros a través de una interfaz web. Existen clientes disponibles en Python, JavaScript/TypeScript, Go, Java y .NET con APIs idénticas. El enrutador admite enrutamiento de respaldo (fallback) en caso de falla, inferencia de modelos basada en tareas cuando no hay coincidencias exactas e integra Docker para un despliegue sencillo. La arquitectura incluye filtrado de salud, coincidencia de modelos, lógica de puntuación y capas de ejecución. La configuración se gestiona mediante variables de entorno. Licencia MIT, se aceptan contribuciones para nuevos adaptadores de proveedores, conteo de tokens y estrategias de enrutamiento.