À propos du projet

openai-shim est une bibliothèque Python légère, sans dépendance, conçue pour unifier l'accès à plusieurs fournisseurs de LLM en traduisant leurs API au format de complétion de chat OpenAI. Elle prend en charge le basculement entre des fournisseurs tels qu'Anthropic, Ollama et des points de terminaison personnalisés — en passant automatiquement à un autre en cas d'échec dû à des limites de débit, des erreurs ou des réponses vides. La bibliothèque gère les différences dans la structure des API (par exemple, rôles manquants, comptage des jetons, comportement de streaming) afin que votre code n'ait pas besoin de s'adapter. Vous pouvez définir des adaptateurs personnalisés pour n'importe quel point de terminaison — même des services HTTP en texte brut — et acheminer les requêtes via une liste priorisée de fournisseurs. Elle inclut également un support intégré pour le streaming, l'estimation des jetons, le suivi de la mise hors service des modèles et le filtrage des capacités de vision/outils. Idéale pour construire des passerelles résilientes multi-fournisseurs ou pour proxyer les appels LLM sans réécrire la logique client. Écrite en Python utilisant uniquement la bibliothèque standard, elle est testée de manière approfondie avec des transports factices et adaptée pour une utilisation en production.