unified-llm-engine

Unified LLM Engine — это Python-библиотека, абстрагирующая взаимодействие с несколькими провайдерами больших языковых моделей (LLM), включая OpenAI, Anthropic, Gemini, Azure, AWS Bedrock и Ollama. Она предоставляет унифицированный интерфейс, позволяющий разработчикам переключаться между провайдерами или комбинировать их без изменения кода. Ключевые возможности включают автоматическое переключение на резервного провайдера при сбое, отслеживание стоимости и использования токенов в реальном времени, интеллектуальное кэширование ответов для снижения избыточных вызовов, поддержку потоковой передачи в реальном времени и асинхронно-ориентированную архитектуру для высокой производительности. Движок интеллектуально маршрутизирует запросы на основе доступности моделей, загрузки и настроенных предпочтений. Пользователи могут инициализировать движок с помощью переменных окружения для API-ключей и при необходимости включить кэширование или задать модели по умолчанию. Сводки стоимости доступны для каждой модели и агрегируются по сеансам. Архитектура разделяет основную логику маршрутизации и реализации отдельных провайдеров, что обеспечивает расширяемость. В проект включены примеры и тесты, лицензирование — MIT. Идеально подходит для приложений, требующих отказоустойчивости, контроля затрат или гибкости при использовании нескольких провайдеров LLM.