Об этом проекте

Bifrost — это AI-шлюз, предоставляющий единый OpenAI-совместимый API перед множеством провайдеров моделей, включая OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama и Groq. Его можно запустить локально через npx или Docker и настроить через встроенный веб-интерфейс, API или файлы конфигурации. Основные возможности, описанные в README: - Единый интерфейс: одна OpenAI-совместимая конечная точка для всех поддерживаемых провайдеров. - Надёжность: автоматические фолбэки между провайдерами и моделями, а также балансировка нагрузки по API-ключам и провайдерам. - Model Context Protocol (MCP): позволяет моделям вызывать внешние инструменты, такие как файловая система, веб-поиск и базы данных. - Семантическое кэширование: кэширует ответы на основе семантической близости для снижения стоимости и задержки. - Поддержка мультимодальности и потоковой передачи через общий интерфейс. - Управление: виртуальные ключи, отслеживание использования, ограничение скорости, иерархическое управление бюджетом для команд и клиентов. - Наблюдаемость: метрики Prometheus, распределённая трассировка и журналирование запросов. - Система плагинов с модулями для управления, разбора JSON, журналирования, семантического кэша, телеметрии, мокинга и интеграции с наблюдаемостью Maxim. - Корпоративные функции: кластеризация, пользовательские плагины, подготовка пользователей через OIDC и управление секретами. Варианты развёртывания включают HTTP-шлюз (npx или Docker), Go SDK для встраивания и замену базовых URL OpenAI, Anthropic и Google GenAI без изменения кода. Репозиторий организован в каталоги core, framework, transports, ui, plugins, docs и tests. В README сообщается о результатах бенчмарков на 5000 запросов в секунду, с заявлением о низкой добавочной задержке и 100% успешности, со ссылками на полную документацию по бенчмаркам. Проект распространяется под лицензией Apache 2.0.