laravel-llm-relay

Laravel LLM Relay 为 Laravel 应用程序提供了一个单一且一致的接口，用于与多个大语言模型供应商（具体为 Claude、GPT (OpenAI) 和 Gemini）进行交互。它通过在可配置的链条中重试或回退到下一个可用供应商，自动处理供应商故障，确保即使某个服务宕机，您的 AI 功能依然可用。每个响应都包含元数据，例如成功的供应商、使用的总 Token 数以及以毫秒为单位的延迟，从而实现成本监控和性能分析。该软件包支持简单提示词、带有系统指令的多轮对话以及依赖注入。它与 Laravel 的 HTTP 客户端无缝集成，可通过 Http::fake() 进行测试。配置通过环境变量和可选的发布配置文件进行管理。如果未设置 API 密钥，则会跳过相应的供应商，您也可以在不回退的情况下强制使用特定供应商。支持通过 Laravel 的日志通道记录每次请求（供应商、Token、延迟）。该工具专为生产环境设计，解决了供应商不稳定、模型偏好演变以及成本透明度等常见痛点。采用 MIT 许可证。