aisix

AISIX AI Gateway est une passerelle open-source native Rust qui fournit une API unique et compatible OpenAI devant plusieurs fournisseurs LLM, notamment OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, DeepSeek et tout point de terminaison compatible OpenAI. Elle est conçue pour que les équipes plateforme puissent router, gouverner, sécuriser et observer le trafic LLM depuis un point de contrôle unique. Les fonctionnalités clés incluent : - **API unifiée** : parlez le format OpenAI ou Anthropic ; la passerelle traduit vers le fournisseur cible. - **Routage et basculement** : six stratégies (round_robin, consistent_hash, failover, least_cost, least_latency, least_busy), niveaux de priorité, budgets de retry et cooldowns. - **Modèles d'ensemble** : diffusez les requêtes vers plusieurs modèles et synthétisez les réponses avec un modèle juge. - **Routage sémantique** : routez selon le sens du prompt à l'aide d'embeddings. - **Limitation de débit et concurrence** : RPS/RPM/RPH/RPD, TPM/TPD et plafonds de concurrence, avec backend Redis pour les limites distribuées. - **Garde-fous** : application de politiques de contenu (mot-clé/regex, détection de PII, Presidio, Lakera, OpenAI Moderation, AWS Bedrock Guardrails, Azure AI Content Safety). - **Cache** : cache de réponses à correspondance exacte avec TTL, backends mémoire/Redis et mise en cache automatique des prompts pour Anthropic. - **Passerelle MCP** : placez les serveurs MCP enregistrés derrière /mcp avec des identifiants détenus par la passerelle et des espaces de noms d'outils. - **Passerelle d'agents A2A** : placez les agents A2A derrière /a2a/:agent. - **Authentification entrante** : clés API d'appelant (hachées SHA-256) ou jetons bearer OIDC/JWT. - **Observabilité** : métriques Prometheus, journaux d'accès structurés, export de spans OTLP/GenAI, exportateurs Datadog et Aliyun SLS, télémétrie vers stockage objet. - **Configuration déclarative** : un seul fichier resources.yaml, validé par des JSON Schemas, avec rechargements atomiques via SIGHUP. Elle s'exécute comme un binaire statique unique avec une faible surcharge, prend en charge le rechargement à chaud de la configuration et peut utiliser etcd pour les clusters multi-réplicas. Le projet est sous licence Apache-2.0 et créé par les auteurs d'Apache APISIX. Une offre cloud commerciale (AISIX Cloud) ajoute un plan de contrôle avec budgets, audit et tableau de bord.