Об этом проекте

Omni Gateway Local — это легковесный API-шлюз, предназначенный для упрощения взаимодействия с несколькими провайдерами больших языковых моделей (LLM). Он предоставляет единый стандартизированный интерфейс, совместимый с OpenAI, по адресу /v1/chat/completions, позволяя разработчикам использовать один и тот же клиентский код независимо от того, запущена ли модель локально (например, через Ollama) или удаленно (например, OpenAI, Anthropic, Gemini). Шлюз динамически маршрутизирует запросы на основе параметра 'model' в запросе. Созданный на основе FastAPI и LiteLLM, он поддерживает потоковую передачу через Server-Sent Events (SSE) и требует минимальной настройки: установите через pip, задайте переменные окружения для API-ключей и запустите сервер. Идеально подходит для разработчиков, экспериментирующих с различными моделями, создающих локальные AI-приложения или ищущих абстракцию над API, специфичными для провайдеров. Лицензия MIT.