frugal-llm

Frugal LLM 是一款用 Go 编写的轻量级代理服务器，提供与 OpenAI 兼容的统一 API 接口。其主要目的是通过根据任务领域自动将传入提示词路由至专用模型架构（例如，将闲聊路由至高速引擎，复杂推理路由至旗舰模型），以优化 API 预算和响应质量。 核心功能包括： - 动态路由：采用基于模板的 LLM 分类引擎，将工作负载匹配至最佳提供商和模型。 - 广泛的提供商支持：集成 OpenAI、Google Gemini、Anthropic Claude、DeepSeek、Groq、Together AI、HuggingFace 以及 Ollama、LM Studio 和 vLLM 等本地服务器。 - OpenAI 规范兼容性：无需代码重构即可与标准 OpenAI SDK、LangChain、LlamaIndex 及 Cursor、Cline 等编码助手协同工作。 - 技术特性：支持 SSE 流式传输、带指数退避的提供商重试机制，以及针对结构化内容的灵活负载解组。 - 配置：支持通过环境变量进行零修改设置，或通过 YAML 文件进行高级自定义。