laravel-llm-relay

Laravel LLM Relay предоставляет единый согласованный интерфейс в приложениях Laravel для взаимодействия с несколькими провайдерами больших языковых моделей, а именно: Claude, GPT (OpenAI) и Gemini. Он автоматически обрабатывает сбои провайдеров, выполняя повторные попытки или переключаясь на следующего доступного провайдера в настраиваемой цепочке, что гарантирует доступность ваших AI-функций даже при сбое одного из сервисов. Каждый ответ включает метаданные, такие как успешно сработавший провайдер, общее количество использованных токенов и задержка в миллисекундах, что позволяет осуществлять мониторинг затрат и анализ производительности. Пакет поддерживает простые промпты, многоходовые диалоги с системными инструкциями и внедрение зависимостей. Он бесшовно интегрируется с HTTP-клиентом Laravel для тестирования через Http::fake(). Конфигурация управляется через переменные окружения и опциональные опубликованные конфигурационные файлы. Провайдеры пропускаются, если их API-ключи не установлены, а также можно принудительно использовать конкретного провайдера без резервного переключения. Логирование каждого запроса (провайдер, токены, задержка) поддерживается через каналы логирования Laravel. Разработанный для использования в продакшене, инструмент решает распространенные проблемы: нестабильность провайдеров, меняющиеся предпочтения в моделях и прозрачность затрат. Лицензия MIT.