laravel-llm-relay

Laravel LLM Relay fournit une interface unique et cohérente dans les applications Laravel pour interagir avec plusieurs fournisseurs de grands modèles de langage — spécifiquement Claude, GPT (OpenAI) et Gemini. Il gère automatiquement les défaillances des fournisseurs en effectuant des tentatives de reconnexion ou en basculant vers le fournisseur suivant disponible dans une chaîne configurable, garantissant que vos fonctionnalités d'IA restent disponibles même si un service est hors ligne. Chaque réponse inclut des métadonnées telles que le fournisseur ayant réussi, le nombre total de jetons utilisés et la latence en millisecondes, permettant ainsi le suivi des coûts et l'analyse des performances. Le package prend en charge les invites simples, les conversations multi-tours avec des instructions système et l'injection de dépendances. Il s'intègre parfaitement au client HTTP de Laravel pour les tests via Http::fake(). La configuration est gérée via des variables d'environnement et des fichiers de configuration publiés optionnels. Les fournisseurs sont ignorés si leurs clés API ne sont pas définies, et vous pouvez forcer un fournisseur spécifique sans basculement. La journalisation de chaque requête (fournisseur, jetons, latence) est prise en charge via les canaux de journalisation de Laravel. Conçu pour une utilisation en production, il répond aux problèmes courants : instabilité des fournisseurs, évolution des préférences de modèles et transparence des coûts. Sous licence MIT.