Об этом проекте

Free LLM Router — это библиотека и CLI-инструмент на Python, позволяющий маршрутизировать запросы между несколькими бесплатными LLM API, управлять ключами, обнаруживать доступные модели и применять правила экономической безопасности. Поддерживаются провайдеры: OpenRouter, Gemini, Groq и другие — некоторые требуют ручного подтверждения статуса бесплатного уровня. Настройка выполняется через TOML-файлы, безопасное хранение ключей (файлы или env-переменные) и автоматический failover при недоступности моделей. Пользователи могут просматривать, искать и общаться с моделями через CLI или асинхронные/синхронные Python-клиенты. Функции безопасности включают явное подтверждение для trial/paid моделей, группировку по квотам для избежания rate limits и отсутствие скрытого перехода на платные уровни. В разработку входят тестирование, линтинг и опциональная оптимизация скорости. Документация охватывает настройку конкретных провайдеров, архитектуру и полные примеры конфигурации. Лицензия MIT.