Об этом проекте

Bifrost — это высокопроизводительный AI-шлюз, предназначенный для унификации доступа к более чем 23 AI-провайдерам, включая OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure и другим, через единый OpenAI-совместимый API. Он устраняет необходимость в Redis благодаря использованию Bun и PostgreSQL 18, предлагая такие возможности, как семантическое кэширование, O(1) биллинг, автоматическое партицирование и автоматический failover. Бенчмарки показывают, что шлюз добавляет лишь 11 мкс оверхеда на запрос при 5 тыс. RPS, с 100% успешностью и временем ожидания в очереди менее одной микросекунды. Развёртывание максимально упрощено: пользователи могут запустить Bifrost локально через NPX или Docker менее чем за минуту, а дальнейшая настройка осуществляется через встроенный веб-интерфейс. Поддерживаются готовые SDK-заменители для OpenAI, Anthropic и Google GenAI с однострочным изменением URL. Расширенные возможности включают Model Context Protocol (MCP) для интеграции внешних инструментов, мультимодальную поддержку (текст, изображения, аудио), пользовательские плагины, управление доступом через виртуальные ключи, контроль бюджетов, OIDC-проvisioning пользователей, а также observability через Prometheus и распределённое трассирование. Архитектура модульная и включает компоненты для провайдеров, хранения конфигурации, HTTP-транспорта, UI и расширяемых плагинов. Корпоративные развёртывания открывают кластеризацию, адаптивную балансировку нагрузки, guardrails и управление секретами. Документация охватывает настройки, интеграции с LangChain, LiteLLM и другими фреймворками, а также бенчмарки производительности и руководство по внесению вклада. Проект лицензирован под Apache 2.0 и создан Maxim.