Об этом проекте

Simple Router — это легковесный self-hosted шлюз, созданный на Next.js, который позволяет пользователям получать доступ к различным AI-провайдерам, включая OpenAI, Gemini, Anthropic, Groq, OpenRouter, Alibaba DashScope, а также локальные серверы, такие как Ollama или vLLM, через единый OpenAI-совместимый формат API. Ключевые возможности включают: - Единые конечные точки API: поддержка chat completions, ответов, эмбеддингов, генерации изображений и списков моделей, что обеспечивает совместимость с существующими OpenAI SDK. - Расширенная маршрутизация: поддержка нескольких стратегий маршрутизации, таких как фиксированная, случайная, round-robin, взвешенная и приоритетное переключение при сбое (failover). - Виртуальные модели: API-ключи могут выступать в качестве виртуальных моделей, позволяя администраторам определять конкретные списки моделей и стратегии маршрутизации для разных проектов. - Инструменты управления: включает панель администратора для мониторинга метрик, управления провайдерами и ключами, отслеживания аналитики использования и просмотра логов с возможностью поиска. - Ограничение скорости и отслеживание: предоставляет лимиты запросов (запросов/токенов в минуту/день) для каждого ключа и оценку стоимости на основе количества токенов и задержки. - Безопасность: поддержка сессионного входа, JWT API-токенов и шифрования API-ключей в состоянии покоя с помощью AES-256-GCM. - Поддержка стриминга: поддержка Server-Sent Events (SSE) для chat completions, включая преобразование форматов для таких провайдеров, как Anthropic.