tap-token-analytics-proxy

TAP (Token Analytics Proxy) は、アプリケーションとLLMプロバイダー（特にOpenAI）の間に配置するように設計されたセルフホスト型のミドルウェアです。これにより、開発者はアプリケーションのコアロジックを変更することなく、APIトラフィックを監視および管理できます。 主な機能は以下の通りです： - **トラフィック分析**: すべてのコールをPostgreSQLデータベースに記録し、モデルの使用状況、トークン数、コスト、レイテンシ（ストリーミング時のTTFTを含む）、およびステータスコードを追跡します。 - **キャッシュ**: Redisを使用してリクエストとレスポンスのペアを保存し、同一のリクエストをキャッシュから提供することで、コストとレイテンシを削減します。 - **レート制限**: Redisを使用して、APIキーごとの1分あたりのリクエスト予算を実装します。 - **APIキー管理**: カスタムTAPキーの発行を可能にし、異なるアプリやチームを識別します。 - **モニタリングダッシュボード**: Reactベースのフロントエンドを提供し、ボリューム、モデルごとのコスト、速度、キャッシュヒット率、およびエラー率をライブチャートで表示します。 本システムはストリーミングレスポンスをサポートしており、FastAPI、SQLAlchemy 2.0、およびRedisを特徴とする非同期スタックを使用しています。また、管理タスク用のCLIと、ライブAPIキーを必要とせずに開発を行うためのモックアップストリームサーバーが含まれています。