À propos du projet

Omni Gateway Local est une passerelle API légère conçue pour simplifier les interactions avec plusieurs fournisseurs de modèles de langage de grande taille (LLM). Elle propose une interface unique et standardisée compatible OpenAI à l'adresse /v1/chat/completions, permettant aux développeurs d'utiliser le même code client quel que soit le fonctionnement local (par exemple via Ollama) ou distant (par exemple OpenAI, Anthropic, Gemini) du modèle sous-jacent. La passerelle route dynamiquement les requêtes en fonction du paramètre 'model' présent dans la requête. Construite sur FastAPI et LiteLLM, elle prend en charge le streaming via Server-Sent Events (SSE) et nécessite une configuration minimale : installation via pip, définition des variables d'environnement pour les clés API, et démarrage du serveur. Idéale pour les développeurs expérimentant avec différents modèles, créant des applications IA locales ou recherchant une abstraction des API spécifiques aux fournisseurs. Sous licence MIT.