À propos du projet

AI Gateway est une passerelle API hautement performante et évolutive pour les modèles d'IA, offrant un point d'appel unifié pour accéder à divers services de grands modèles linguistiques. Compatible avec le format API OpenAI, elle permet aux développeurs de connecter en un seul code plusieurs fournisseurs tels qu'OpenAI, Anthropic (Claude), Tongyi Qianwen (DashScope), Ollama et d'autres. Elle prend en charge l'ensemble des fonctionnalités multimodales : Chat, Vision, Génération d'Images, Speech-to-Text, Text-to-Speech et Embeddings. Le système est développé en Go + Gin, garantissant une forte capacité de traitement concurrent et une conception sans état facilitant la mise à l'échelle horizontale. Il intègre nativement des métriques Prometheus, des journaux structurés, du traçage des requêtes, du rate-limiting par token bucket, ainsi que la gestion des quotas par clé API. Il supporte les backends de stockage MySQL/PostgreSQL et les caches mémoire/Redis. Des fonctionnalités telles que les checks de santé, la gestion des clés API et les statistiques d'utilisation sont fournies, facilitant le déploiement privé de services IA par les entreprises ou les particuliers. La structure du projet est claire et permet aux développeurs d'ajouter facilement de nouveaux providers. Ce projet convient aux scénarios nécessitant une intégration unifiée de multiples services IA avec contrôle de trafic, monitoring et gestion des coûts.