Sobre o projeto

Omni Gateway Local é um gateway de API leve projetado para simplificar interações com múltiplos provedores de grandes modelos de linguagem (LLM). Ele oferece uma única interface padronizada compatível com OpenAI em /v1/chat/completions, permitindo que desenvolvedores usem o mesmo código cliente independentemente de o modelo subjacente ser executado localmente (por exemplo, via Ollama) ou remotamente (por exemplo, OpenAI, Anthropic, Gemini). O gateway roteia dinamicamente as solicitações com base no parâmetro 'model' da requisição. Construído sobre FastAPI e LiteLLM, suporta streaming via Server-Sent Events (SSE) e requer configuração mínima: instalar via pip, definir variáveis de ambiente para chaves de API e iniciar o servidor. Ideal para desenvolvedores que experimentam diferentes modelos, constroem aplicações de IA locais ou buscam abstração das APIs específicas de provedores. Licença MIT.