llm-apipool

llm-apipool es una herramienta autoalojada que unifica el acceso a más de 40 APIs de modelos de lenguaje grandes (LLM) de nivel gratuito — incluyendo Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub y más — detrás de un único punto de conexión compatible con OpenAI (por ejemplo, http://localhost:8000/v1). Elimina la necesidad de gestionar manualmente múltiples claves API, SDK o límites de tasa. El sistema rota automáticamente las claves por proveedor, aplica enfriamientos cuando se supera el límite de tasa y hace fallback a proveedores o niveles alternativos. Incluye una CLI para configuración y gestión, una TUI interactiva basada en Textual para monitoreo en tiempo real de claves y registros de auditoría, y un panel de control React con análisis y configuración. Soporta streaming (SSE para proveedores compatibles), configuración unificada de esfuerzo entre modelos (low/medium/high reasoning), seguimiento de suscriptores, pools de conexión y despliegue en Docker con verificaciones de salud. Se integra sin problemas con LangChain a través de AggregatorChat, y funciona con cualquier herramienta compatible con OpenAI (Hermes Agent, Cursor, Continue.dev, etc.) simplemente cambiando la URL base. Construido para desarrolladores individuales y pequeños equipos que buscan evitar costos de API manteniendo confiabilidad de grado producción. Incluye 522 pruebas pasando, migraciones Alembic y guías documentadas de proveedores. El roadmap incluye soporte de plugins, streaming por WebSocket, autenticación multiusuario y clustering distribuido.