llm-router

LLM Routerは、GLM、Kimi、Qwen、Doubaoなどの異なるモデル間でリクエストを自動的にルーティングし、LLMの運用コストを削減するために設計された、ドロップイン形式のOpenAI互換APIです。モデル識別子に"auto"を使用することで、システムはタスクタイプに基づいてモデルを選択します。単純なタスクはDoubaoに、バランスの取れたタスクはQwenに、複雑な推論タスクはKimiまたはGLMにルーティングされます。 主な機能は以下の通りです： - 様々なプロバイダーにわたるマルチモデルルーティング。 - API支出を削減するためのコスト最適化。 - 大幅なコード変更なしに簡単に統合できるOpenAI互換API。 - 障害に対処するための自動フォールバックメカニズム。 - タスクベースのスマートなモデル選択。