laravel-llm-relay

Laravel LLM Relayは、Laravelアプリケーションにおいて、複数の大規模言語モデルプロバイダー（具体的にはClaude、GPT (OpenAI)、Gemini）とやり取りするための単一で一貫したインターフェースを提供します。設定可能なチェーンに基づき、リトライや次に利用可能なプロバイダーへのフォールバックを行うことでプロバイダーの障害を自動的に処理し、1つのサービスがダウンしてもAI機能の可用性を維持します。各レスポンスには、成功したプロバイダー、使用された総トークン数、ミリ秒単位のレイテンシなどのメタデータが含まれており、コスト監視やパフォーマンス分析が可能です。本パッケージは、シンプルなプロンプト、システム指示を含むマルチターン会話、および依存性の注入をサポートしています。また、LaravelのHTTPクライアントとシームレスに統合されており、Http::fake()によるテストが可能です。設定は環境変数およびオプションで公開される設定ファイルを通じて管理されます。APIキーが設定されていないプロバイダーはスキップされ、フォールバックなしで特定のプロバイダーを強制的に使用することもできます。すべてのリクエスト（プロバイダー、トークン、レイテンシ）のログ記録は、Laravelのロギングチャネル経由でサポートされています。本ツールは本番環境での利用を想定して設計されており、プロバイダーの不安定さ、進化するモデルの好み、コストの透明性といった一般的な課題を解決します。MITライセンスで提供されています。