freellmapi — FreeLLMAPI é um gateway de API compatível com OpenAI que agrega camadas gratuitas de dezenas de provedores de LLM em um único endpoint com roteamento inteligente e failover automático.

FreeLLMAPI é um gateway de API compatível com OpenAI que agrega camadas gratuitas de dezenas de provedores de LLM em um único endpoint com roteamento inteligente e failover automático.

Sobre o projeto

FreeLLMAPI fornece um endpoint /v1 unificado para acessar camadas gratuitas de 34 provedores de LLM e mais de 600 endpoints de modelos. Ele permite que os usuários empilhem múltiplas cotas gratuitas para aumentar a capacidade total de inferência disponível, gerenciando automaticamente os limites de taxa e falhas de provedores. As principais capacidades incluem: - API Unificada: Suporta interfaces compatíveis com OpenAI para chat, completions, embeddings, imagens, vídeo e fala, bem como interfaces nativas de Anthropic Messages e Gemini. - Roteamento Inteligente: Apresenta seis estratégias de roteamento com failover automático e rotação de chaves quando os provedores atingem o limite de taxa ou retornam erros. - Gerenciamento de Modelos: Inclui um catálogo de modelos que se atualiza automaticamente e um painel de administração baseado em React para gerenciar chaves de API criptografadas e rastrear análises de uso. - Recursos Avançados: Oferece 'Fusion' (síntese de múltiplos modelos), compressão de prompt, sessões fixas (sticky sessions) para transferência de contexto e um servidor MCP para introspecção de agentes. - Implantação: Disponível como um container Docker, um aplicativo desktop nativo para macOS e Windows, e executa em ambientes Node 20+, incluindo SBCs ARM. - Integração: Fornece ferramentas de configuração automatizadas para vários agentes de codificação e CLIs, como Claude Code, Aider, Cline e Cursor.