llm-apipool

llm-apipool é uma ferramenta self-hosted que unifica o acesso a mais de 40 APIs gratuitas de modelos de linguagem grandes (LLM) — incluindo Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub e outros — por trás de um único endpoint compatível com OpenAI (por exemplo, http://localhost:8000/v1). Elimina a necessidade de gerenciar múltiplas chaves de API, SDKs ou limites de taxa manualmente. O sistema roda automaticamente as chaves por provedor, aplica cooldowns quando há rate limiting e faz fallback para provedores ou tiers alternativos. Inclui CLI para configuração e gerenciamento, TUI interativa baseada em Textual para monitoramento de chaves e logs de auditoria em tempo real, e dashboard em React com analytics e configurações. Suporta streaming (SSE para provedores compatíveis), configuração unificada de esforço entre modelos (low/medium/high reasoning), rastreamento de assinantes, connection pooling e deployment via Docker com health checks. Integra-se perfeitamente com LangChain via AggregatorChat e funciona com qualquer ferramenta compatível com OpenAI (Hermes Agent, Cursor, Continue.dev, etc.) bastando alterar o base URL. Construído para desenvolvedores individuais e pequenas equipes que buscam evitar custos de API mantendo confiabilidade de nível produção. Inclui 522 testes passando, migrações Alembic e guias documentados dos provedores. O roadmap inclui suporte a plugins, streaming via WebSocket, autenticação multi-usuário e clustering distribuído.