Об этом проекте

Этот прокси-слой на Node.js позволяет пользователям направлять запросы к AI-моделям через нескольких поставщиков с использованием интерфейса, совместимого с OpenAI (/v1/chat/completions). Он разработан для обеспечения надёжности и гибкости при развёртывании AI. Ключевые возможности: - Многопровайдерный отказоустойчивый маршрут: перенаправление запросов нескольким провайдерам для одной и той же модели в соответствии с заданным приоритетом. - Маршрутизация с учётом здоровья: отслеживание состояния провайдеров в реальном времени для автоматизации процессов отказа и восстановления. - Безопасная конфигурация: поддержка внедрения API-ключей через переменные окружения, чтобы избежать жёсткого кодирования конфиденциальных данных. - Отображение моделей: использование YAML-конфигурации для сопоставления конкретных моделей различным эндпоинтам провайдеров и API-ключам. - Локальная административная панель: включает опциональную лёгкую панель для управления отображением моделей и провайдеров. - Дизайн, готовый к edge: архитектура спроектирована с учётом возможной миграции на edge-платформы, такие как Cloudflare Workers или Vercel Edge.