Sobre o projeto

O OBEY API Gateway é um gateway de IA de alta performance e único binário, projetado para ficar entre aplicações e múltiplos provedores de IA. Atua como uma substituição plugável para a API da OpenAI, permitindo que os usuários apontem seus SDKs existentes para o gateway e ganhem recursos avançados de roteamento e confiabilidade sem alterar o código da aplicação. Principais capacidades incluem: - **Suporte Multi-Provedor**: Compatível com OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM e LM Studio. - **Confiabilidade e Roteamento**: Possui failover automático com circuit breakers, backoff exponencial e gerenciamento inteligente de rate-limiting (respeitando headers Retry-After). Suporta roteamento por prioridade, consciência de custo e consciência de complexidade. - **Recursos Avançados de IA**: - **Cache de Respostas**: Cache em duas camadas com uma camada exata em memória e uma camada semântica opcional via Qdrant. - **Gestão de Tokens**: Inclui 9 estratégias de compressão para tokens e um pipeline de 12 estágios para compressão de definições de ferramentas. - **Guardrails**: Aplicação de políticas antes e depois das chamadas, incluindo redação de PII, escaneamento regex e moderação. - **Detecção de Loops de Agentes**: Detecta comportamento repetitivo de agentes e escala através de níveis de aviso e throttling. - **Integração com OpenAI**: Suporta login OAuth da OpenAI para assinaturas ChatGPT Plus/Pro e fornece um endpoint nativo /v1/responses. - **Ferramentas para Desenvolvedores**: Inclui painel administrativo embutido, métricas Prometheus, logging estruturado baseado em SQLite e gestão de chaves virtuais para orçamentação e rate-limiting por chamador. - **Implantação**: Disponível como instalador para Windows, imagem Docker ou pode ser compilado a partir do código-fonte usando Rust.