Sobre o projeto

Este projeto é um fork do serviço ai-proxy, projetado para atuar como um proxy seguro para vários provedores de Modelo de Linguagem de Grande Escala (LLM). Ele oferece um endpoint de API unificado, permitindo que os usuários interajam com múltiplos serviços de IA sem modificar o código da aplicação para cada provedor. Capacidades principais incluem: - Acesso Unificado à API: Suporta provedores como OpenAI, Google Gemini, Groq, OpenRouter, Cloudflare, Cohere e Sberbank GigaChat. - Gerenciamento de Requisições: Implementa controle de taxa (por minuto/hora/dia), roteamento inteligente e tratamento estruturado de erros. - Otimizações de Desempenho: Utiliza pool de buffers via sync.Pool para eficiência de memória, pool de conexões otimizado para clientes HTTP e mecanismo de retry em streaming com backoff exponencial e jitter. - Segurança: Recursos de autenticação por token de acesso ao proxy e gerenciamento seguro de configuração por meio de variáveis de ambiente. - Suporte a Streaming: Suporta eventos enviados pelo servidor (SSE) para provedores que implementam respostas em streaming. - Configuração: Usa uma configuração baseada em YAML para definir modelos, prioridades e chaves de API.