ai-router

ai-router は、Large Language Model（LLM）API のやり取りを管理するための包括的な Python ライブラリです。OpenAI、Anthropic、DeepSeek、Google Gemini などの複数プロバイダーへのリクエストを統一インターフェースでルーティングできます。主な機能は以下の通りです。 - スマートルーティング: ラウンドロビン、重み付け分配、コスト/レイテンシ最適化といった戦略を実装。自動リトライ、サーキットブレーカー、セマンティックキャッシュを備え、信頼性とパフォーマンスを向上させます。 - RAG パイプライン: ドキュメントのチャンク化、埋め込み生成、ハイブリッド検索（BM25 + ベクトル）、再ランク付けのツールを提供。 - エージェントフレームワーク: ReAct エージェント、ツール登録、マルチエージェントオーケストレーション（シーケンシャル、パラレル、ディベート）、メモリ管理をサポート。 - 評価・モニタリング: レイテンシとスループットのベンチマークツール、BLEU、ROUGE、セマンティック類似度などのスコア指標を含む。 - API サーバー: FastAPI ベースのサーバーを提供し、OpenAI の /v1/chat/completions エンドポイントと互換性があるため、プロバイダー間のシームレスな切り替えが可能です。 このツールキットは本番環境向けに設計されており、レートリミット、包括的なメトリクス追跡、Docker または CLI による簡単なデプロイを提供します。