Об этом проекте

Этот проект предоставляет единый REST API, который абстрагирует несколько поставщиков AI-услуг — включая Ollama, OpenAI, Google Gemini и Hugging Face — за единым последовательным интерфейсом. Он позволяет разработчикам переключаться или комбинировать поставщиков без изменения клиентского кода. API поддерживает генерацию текста, завершение чата, промпты на основе изображений (мультимодальные) и эмбеддинги. Функции включают необязательную аутентификацию через API‑ключ, потоковые ответы в реальном времени, автоматическую маршрутизацию поставщиков и автоматически сгенерированную документацию OpenAPI. Он предназначен для лёгкого развёртывания с помощью Docker Compose или локального выполнения Python. Конфигурация управляется через переменные окружения, позволяя включать/выключать отдельные поставщики и задавать параметры конкретных моделей. Система также предоставляет эндпоинты проверки состояния и списка моделей. Расширяемая архитектура позволяет добавлять новых поставщиков. Управляющие команды (через Makefile) упрощают операции жизненного цикла, такие как запуск, остановка, просмотр логов и доступ к оболочке. Лицензия MIT.