このプロジェクトについて

LLM Cache Proxyは、FastAPIで構築されたOpenAI API用のキャッシングレイヤーです。OpenAIのチャット完了エンドポイントへのリクエストをインターセプトし、同一のリクエストに対してキャッシュ済みのレスポンスを提供します。これにより、開発時のAPIコスト削減とレスポンスレイテンシーの改善に役立ちます。 主な機能： - ストリーミングおよび非ストリーミングモード両対応のOpenAI APIレスポンスキャッシング - チャット完了エンドポイント向けOpenAI API互換性 - 再起動後もデータを維持する永続的キャッシュストレージ - PythonまたはDockerによるデプロイメントオプション - キャッシュ済みリクエスト用`/cache/chat/completions`とキャッシュなしリクエスト用`/chat/completions`の2つの専用エンドポイント