Об этом проекте

LLMHub — это сервис реверс-прокси, разработанный для OpenAI-совместимых API. Он позволяет пользователям объединять нескольких вышестоящих (upstream) провайдеров API в единую точку входа, управляя аутентификацией и маршрутизацией запросов через конфигурационный файл YAML. Ключевые возможности включают: - Агрегация провайдеров: поддержка нескольких вышестоящих провайдеров с пользовательскими базовыми URL и опциональными настройками HTTP-прокси. - Управление API-ключами: возможность определения пользовательских API-ключей для нижестоящих (downstream) пользователей и управление несколькими вышестоящими ключами для балансировки нагрузки. - Гибкая маршрутизация: правила маршрутизации, которые сопоставляют нижестоящие запросы с конкретными провайдерами на основе имен моделей или предопределенных групп моделей. - Алиасы моделей: поддержка сопоставления простых алиасов со сложными оригинальными именами моделей. - Надежность: настраиваемые механизмы повторных попыток для неудачных вышестоящих запросов.