freellmapi — FreeLLMAPI est une passerelle API compatible OpenAI qui agrège les offres gratuites de dizaines de fournisseurs de LLM en un point d'accès unique avec routage intelligent et basculement automatique.

FreeLLMAPI est une passerelle API compatible OpenAI qui agrège les offres gratuites de dizaines de fournisseurs de LLM en un point d'accès unique avec routage intelligent et basculement automatique.

À propos du projet

FreeLLMAPI fournit un point de terminaison /v1 unifié pour accéder aux offres gratuites de 34 fournisseurs de LLM et plus de 600 points de terminaison de modèles. Il permet aux utilisateurs de cumuler plusieurs quotas gratuits pour augmenter la capacité d'inférence totale disponible tout en gérant automatiquement les limites de débit et les défaillances des fournisseurs. Les capacités clés incluent : - API unifiée : Prend en charge les interfaces compatibles OpenAI pour le chat, les complétions, les embeddings, les images, la vidéo et la parole, ainsi que les interfaces natives Anthropic Messages et Gemini. - Routage intelligent : Propose six stratégies de routage avec basculement automatique et rotation des clés lorsque les fournisseurs sont limités par le débit ou renvoient des erreurs. - Gestion des modèles : Comprend un catalogue de modèles auto-actualisable et un tableau de bord d'administration basé sur React pour gérer les clés API cryptées et suivre les analyses d'utilisation. - Fonctionnalités avancées : Offre le 'Fusion' (synthèse multi-modèles), la compression de prompts, des sessions persistantes (sticky sessions) pour le transfert de contexte, et un serveur MCP pour l'introspection d'agents. - Déploiement : Disponible en tant que conteneur Docker, application de bureau native pour macOS et Windows, et s'exécute sur les environnements Node 20+, y compris les SBC ARM. - Intégration : Fournit des outils de configuration automatisés pour divers agents de codage et CLI tels que Claude Code, Aider, Cline et Cursor.