frugal-llm

Frugal LLMは、OpenAI互換の統一APIインターフェースを提供するGoで書かれた軽量プロキシサーバーです。主な目的は、タスクドメインに基づいて着信プロンプトを専用モデルアーキテクチャに自動ルーティングし、API予算と応答品質を最適化することです（例：カジュアルチャットを高速エンジンに、複雑な推論をフラッグシップモデルにルーティング）。 主な機能には以下が含まれます： - 動的ルーティング：テンプレート駆動型のLLM分類エンジンを使用し、ワークロードを最適なプロバイダーおよびモデルにマッチングします。 - 広範なプロバイダーサポート：OpenAI、Google Gemini、Anthropic Claude、DeepSeek、Groq、Together AI、HuggingFace、およびOllama、LM Studio、vLLMなどのローカルサーバーと統合されています。 - OpenAI仕様互換性：コードの再構築なしに、標準のOpenAI SDK、LangChain、LlamaIndex、およびCursorやClineなどのコーディングアシスタントと連携可能です。 - 技術的特徴：SSEストリーミング、指数バックオフによるプロバイダーリトライ、構造化コンテンツのための柔軟なペイロードアンマーシャリングをサポートしています。 - 設定：環境変数によるゼロ編集セットアップ、またはYAMLファイルによる高度なカスタマイズをサポートしています。