Об этом проекте

ai-router — это комплексная библиотека Python для управления взаимодействиями с API больших языковых моделей (LLM). Она предоставляет единый интерфейс для маршрутизации запросов к различным провайдерам, таким как OpenAI, Anthropic, DeepSeek и Google Gemini. Ключевые возможности включают: - Умная маршрутизация: реализует стратегии, такие как round-robin, взвешенное распределение и оптимизацию по стоимости/задержке. Включает автоматические повторные попытки, автоматические выключатели (circuit breakers) и семантическое кэширование для повышения надёжности и производительности. - RAG‑конвейер: предоставляет инструменты для разбиения документов, генерации эмбеддингов, гибридного поиска (BM25 + векторный) и переранжирования. - Фреймворк агентов: поддерживает ReAct‑агентов, регистрацию инструментов, оркестрацию нескольких агентов (последовательную, параллельную, дебаты) и управление памятью. - Оценка и мониторинг: включает инструменты бенчмаркинга задержек и пропускной способности, а также метрики оценки, такие как BLEU, ROUGE и семантическое сходство. - API‑сервер: реализован на FastAPI и совместим с эндпоинтом OpenAI /v1/chat/completions, что облегчает бесшовную смену провайдера. Набор инструментов рассчитан на продакшн‑окружения, предоставляет ограничение скорости запросов, полное отслеживание метрик и простое развёртывание через Docker или CLI.