llm-router

LLM Router представляет собой прокси-сервер и библиотеку Python, которая объединяет нескольких провайдеров больших языковых моделей (LLM) в единую конечную точку. Он позволяет пользователям взаимодействовать с различными моделями без изменения API-ключей или кодовой базы, управляя конфигурациями через YAML-файл. Ключевые возможности включают: - Поддержка нескольких провайдеров: готовая интеграция с 10 провайдерами, включая Google, Cohere, Mistral, OpenRouter, Cerebras, Groq, Hugging Face, Kilo Code, llm7.io и NVIDIA NIM. - Интеллектуальная маршрутизация: автоматический выбор моделей на основе их возможностей (зрение, использование инструментов и т. д.), размера контекстного окна и режимов качества (quality, fast, cheap или code). - Функции надежности: реализация повторных попыток с экспоненциальной задержкой, автоматический переход на альтернативные модели при сбое и ротация ключей с периодами охлаждения для ключей с ограничением скорости. - Совместимость с OpenAI: включает локальный сервер, который предоставляет OpenAI-совместимый API, что обеспечивает совместимость с такими редакторами, как Void и Continue. - Наблюдаемость: логирование всех запросов и ответов в локальную базу данных SQLite для истории и аудита. - Гибкость использования: может использоваться как автономный локальный сервер или интегрироваться непосредственно в Python-проекты в качестве библиотеки.