Об этом проекте

llm-apipool — это self-hosted инструмент, который унифицирует доступ к более чем 40 бесплатным API больших языковых моделей (LLM), включая Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub и другие, за единственным OpenAI-совместимым эндпоинтом (например, http://localhost:8000/v1). Он устраняет необходимость вручную управлять множеством API-ключей, SDK или лимитами запросов. Система автоматически ротует ключи для каждого провайдера, применяет cooldown при достижении rate limit и выполняет fallback на альтернативных провайдеров или тарифы. В комплект входят CLI для настройки и управления, интерактивный TUI на базе Textual для мониторинга ключей и audit-логов в реальном времени, а также React-дашборд с аналитикой и настройками. Поддерживается streaming (SSE для совместимых провайдеров), единая конфигурация effort across моделей (low/medium/high reasoning), отслеживание подписчиков, connection pooling и деплой через Docker с health checks. Интеграция с LangChain осуществляется через AggregatorChat, а совместимость с любыми OpenAI-совместимыми инструментами (Hermes Agent, Cursor, Continue.dev и др.) обеспечивается простой заменой base URL. Проект предназначен для индивидуальных разработчиков и небольших команд, стремящихся избежать расходов на API при сохранении production-grade надёжности. Включает 522 passing теста, Alembic миграции и документированные guides по провайдерам. Roadmap включает поддержку плагинов, WebSocket streaming, multi-user auth и distributed clustering.