Об этом проекте

ai-router — это умный маршрутизатор LLM, который предоставляет API, совместимый с OpenAI, и направляет запросы к наиболее подходящему доступному провайдеру. Он включает встроенное автоматическое отключение для каждого провайдера, мониторинг здоровья и отслеживание затрат. Маршрутизатор выбирает провайдеров на основе приоритета, текущей доступности и тегов моделей (таких как чат, код, быстрый и другие). Он включает конечные точки для завершения чата, проверки здоровья, просмотра метрик и управления автоматическим отключением.