À propos du projet

OBEY API Gateway est une passerelle IA haute performance, en un seul binaire, conçue pour se placer entre les applications et plusieurs fournisseurs d'IA. Elle agit comme un remplacement direct de l'API OpenAI, permettant aux utilisateurs de pointer leurs SDK existants vers la passerelle afin de bénéficier de fonctionnalités avancées de routage et de fiabilité sans modifier le code de l'application. Les capacités clés incluent : - **Support multi-fournisseur** : Compatible avec OpenAI, Ollama, AWS Bedrock, Groq, Together AI, NVIDIA NIM, vLLM et LM Studio. - **Fiabilité et routage** : Fonctionnalités de bascule automatique avec disjoncteurs, backoff exponentiel et gestion intelligente de la limitation de débit (respect des en-têtes Retry-After). Prise en charge du routage par priorité, basé sur le coût et sur la complexité. - **Fonctionnalités IA avancées** : - **Mise en cache des réponses** : Cache à deux niveaux avec un premier niveau en mémoire (correspondance exacte) et un niveau sémantique optionnel via Qdrant. - **Gestion des tokens** : Comprend 9 stratégies de compression pour les tokens et un pipeline en 12 étapes pour la compression de la définition des outils. - **Barrières de sécurité (Guardrails)** : Application de politiques avant et après appel, y compris la suppression des PII, l'analyse regex et la modération. - **Détection de boucles agent** : Détecte les comportements répétitifs des agents et effectue une escalade via des niveaux d'avertissement et de throttling. - **Intégration OpenAI** : Prend en charge la connexion OAuth OpenAI pour les abonnements ChatGPT Plus/Pro et fournit un endpoint natif /v1/responses. - **Outils développeur** : Inclut un panneau administratif intégré, les métriques Prometheus, la journalisation structurée basée sur SQLite et la gestion de clés virtuelles pour le budgétisation par appelant et la limitation de débit. - **Déploiement** : Disponible en tant qu'installateur Windows, image Docker ou peut être compilé à partir des sources avec Rust.