Sobre o projeto

O AI Gateway é um gateway de API de alto desempenho e escalabilidade para modelos de IA, oferecendo um ponto de entrada unificado para acessar diversos serviços de grandes modelos. É compatível com o formato da API OpenAI, permitindo que desenvolvedores utilizem um único código para conectar-se a múltiplos provedores, como OpenAI, Anthropic (Claude), Tongyi Qianwen (DashScope) e Ollama. Suporta funcionalidades completas em todos os modales: Chat, Vision, Image Generation, Speech-to-Text, Text-to-Speech e Embeddings. O sistema é construído com Go e Gin, apresentando alta capacidade de processamento de concorrência e design sem estado que facilita a expansão horizontal. Possui integração nativa com métricas Prometheus, logs estruturados, rastreamento de requisições, limitação de taxa por bucket de tokens e gestão de cotas de API Key. Suporta backends de armazenamento MySQL/PostgreSQL e cache em memória/Redis. Oferece funções de verificação de saúde, administração de API Keys e estatísticas de uso, facilitando a implantação privada de serviços de IA por empresas ou indivíduos. A estrutura do projeto é clara, permitindo que desenvolvedores adicionem novos provedores com facilidade. É adequado para cenários que requerem integração unificada de múltiplos serviços de IA, controle de tráfego, monitoramento e gestão de custos.