llmux

LLMuxは、統一されたAPIを通じて複数の大規模言語モデル（LLM）プロバイダーを管理するために設計されたRustベースのゲートウェイです。async Rustを活用することで、レイテンシとオーバーヘッドの最小化に重点を置いています。 主な機能は以下の通りです： - 統一API：OpenAIやAnthropic (Claude) などのプロバイダーとやり取りするための単一インターフェースを提供します。 - キー管理：APIキーの自動ローテーションをサポートし、ロードバランシングの促進とレート制限の回避を実現します。 - トラフィック制御：1分あたりのリクエスト数およびトークン使用量（入力/出力）に基づいたレート制限とクォータを実装しています。 - オブザーバビリティ：使用状況とパフォーマンスを監視するためのPrometheusメトリクスを内蔵しています。 - モデルマッピング：「default」、「fast」、「premium」など、特定のユースケースに合わせて異なるモデルを設定することが可能です。