llm-router

LLM Router是一个基于FastAPI的后端服务，旨在将用户提示词动态路由到OpenAI、Google Gemini和Mistral中最合适的大语言模型（LLM）。系统采用评分机制评估模型，平衡有用性、成本和可靠性——而非仅仅依赖原始性能。 该系统支持三种路由模式：全自动模式（系统选择最佳模型）、半自动模式（用户选择提供商，系统选择模型）以及手动模式（用户同时指定两者）。 系统内置由Mistral嵌入和余弦相似度检索驱动的检索增强生成（RAG）功能，支持.txt、.md和.pdf格式文件。用户可以通过/upload接口上传文档，通过/clear-data接口清除数据。每位用户享有2轮对话记忆，以实现上下文感知的回复。 该架构将决策与执行分离：路由逻辑负责选择模型，而客户端模块处理实际的API调用。超出令牌限制的模型将被淘汰。响应中包含提供商、模型名称、置信度、已用令牌数及成本估算等元数据。WebSocket支持实现实时流式传输。 未来规划包括反馈驱动调优、本地LLM集成以及A/B测试。该项目正在积极开发中，意图感知路由、成本优化和RAG等核心功能已实现。