llm-gateway

LLM Gatewayは、OpenAIチャット補完API用のキャッシュ逆プロキシであり、Redisから繰り返しまたは意味的に類似した質問に回答をサーブすることでコストを削減する。正確な一致（プロンプト正規化）とベクトル検索（Redis Stack経由）による意味的一致の2つのキャッシュティアをサポートする。フォローアップ質問は、会話間マッチングを可能にするために埋め込み前にスタンドアロン形式に書き換えられる。FastAPIとRedis Stackで構築され、リクエストをサーブしたティアを確認できるようX-Cacheヘッダーをレスポンスに追加する。ローカルセットアップにはPython 3.12以降、Docker、およびOpenAIキーが必要。デモプレイグラウンド、負荷テスト、そして正確なヒットが約2ms、意味的ヒットが約250ms、ミスヒットが1〜4秒というメトリクスが含まれる。Redis Stackとの連携でステートレスコンテナとしてデプロイするように設計され、パブリックデモ向けに予算制御、レート制限、モデレーション（有効時）をサポートする。キャッシュエントリは1時間で期限切れとなり、ストリーミング対応または認証レイヤーは含まれていない。