このプロジェクトについて

本プロジェクトはai-proxyサービスのフォークであり、さまざまな大規模言語モデル（LLM）プロバイダ向けのセキュアプロキシとして機能するように設計されています。各プロバイダごとにアプリケーションコードを変更することなく、複数のAIサービスとやり取りできるよう、統合されたAPIエンドポイントを提供します。 主な機能: - 統一APIアクセス: OpenAI、Google Gemini、Groq、OpenRouter、Cloudflare、Cohere、Sberbank GigaChatなどのプロバイダをサポート。 - リクエスト管理: 分/時間/日ごとのレート制限、インテリジェントルーティング、構造化エラーハンドリングを実装。 - パフォーマンス最適化: メモリ効率のためのsync.Poolによるバッファプーリング、HTTPクライアント向けの最適化されたコネクションプーリング、指数関数的バックオフとジッターを含むストリーミング再試行メカニズムを採用。 - セキュリティ: プロキシアクセストークン認証および環境変数による安全な設定管理を特徴とする。 - ストリーミング対応: ストリーミングレスポンスを実装するプロバイダ向けにServer-Sent Events（SSE）をサポート。 - 設定: モデル、優先度、APIキーを定義するためのYAMLベースの設定を使用。