freellmapi — FreeLLMAPI es una puerta de enlace API compatible con OpenAI que agrega los niveles gratuitos de decenas de proveedores de LLM en un único punto final con enrutamiento inteligente y failover automático.

FreeLLMAPI es una puerta de enlace API compatible con OpenAI que agrega los niveles gratuitos de decenas de proveedores de LLM en un único punto final con enrutamiento inteligente y failover automático.

Sobre el proyecto

FreeLLMAPI proporciona un punto final /v1 unificado para acceder a los niveles gratuitos de 34 proveedores de LLM y más de 600 puntos finales de modelos. Permite a los usuarios apilar múltiples cuotas gratuitas para aumentar la capacidad total de inferencia disponible, mientras gestiona automáticamente los límites de tasa y los fallos de los proveedores. Las capacidades clave incluyen: - API Unificada: Soporta superficies compatibles con OpenAI para chat, completions, embeddings, imágenes, video y voz, así como superficies nativas de Anthropic Messages y Gemini. - Enrutamiento Inteligente: Cuenta con seis estrategias de enrutamiento con failover automático y rotación de claves cuando los proveedores limitan la tasa o devuelven errores. - Gestión de Modelos: Incluye un catálogo de modelos que se actualiza automáticamente y un panel de administración basado en React para gestionar claves API cifradas y realizar un seguimiento de las analíticas de uso. - Funciones Avanzadas: Ofrece 'Fusion' (síntesis multi-modelo), compresión de prompts, sesiones persistentes (sticky sessions) para el traspaso de contexto y un servidor MCP para la introspección de agentes. - Despliegue: Disponible como contenedor Docker, una aplicación de escritorio nativa para macOS y Windows, y se ejecuta en entornos Node 20+, incluyendo SBCs ARM. - Integración: Proporciona herramientas de configuración automatizadas para diversos agentes de codificación y CLIs como Claude Code, Aider, Cline y Cursor.