Об этом проекте

LLMux — это шлюз на базе Rust, разработанный для управления несколькими провайдерами больших языковых моделей (LLM) через единый API. Он ориентирован на минимизацию задержек и накладных расходов за счет использования async Rust. Ключевые возможности включают: - Единый API: предоставляет общий интерфейс для взаимодействия с такими провайдерами, как OpenAI и Anthropic (Claude). - Управление ключами: поддерживает автоматическую ротацию API-ключей для облегчения балансировки нагрузки и обхода лимитов запросов. - Контроль трафика: реализует ограничение частоты запросов и квоты на основе количества запросов в минуту и использования токенов (входных/выходных). - Наблюдаемость: включает встроенные метрики Prometheus для мониторинга использования и производительности. - Маппинг моделей: позволяет настраивать различные модели для конкретных сценариев использования, таких как 'default', 'fast' и 'premium'.