このプロジェクトについて
このプロジェクトは、標準的なOpenAI APIとの完全な互換性を確保しつつ、GitHub Models APIモデルとのインタラクションを可能にするプロキシサーバーです。OpenAI、Meta、Microsoft、Mistral、DeepSeek、xAIを含む様々なプロバイダーの数十のモデルへのアクセスを提供します。
### 主な機能:
- **複数のインターフェース**: 標準的なOpenAI API、拡張JSON API、簡略化されたChat API、およびテスト用のインタラクティブなWeb UIをサポート。
- **モニタリングと分析**: HTTPリクエスト、エラー、メモリ使用量、パフォーマンスを追跡するためのPrometheus形式のエンドポイントを内蔵。`/monitor` で個別のモニタリングWebインターフェースを利用可能。
- **負荷制御**: 安定性を確保するためのレート制限メカニズムと、待機キューを備えた同時実行制御。
- **補助ツール**:
- サーバーの自動復旧を行う `watchdog.sh`。
- ベンチマーク、モデルテスト、コード例生成用のスクリプト。
- ストリーミングをサポートするTTS機能(ウクライナ語音声)。
- **インテリジェント機能**: 自動コンテキスト制限チェックおよび、タスク(速度、品質、テキスト量)に基づいたモデル推奨システム。
### 技術スタック:
- Node.js 18+
- GitHub Models APIとの統合
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.