semantic-router

Semantic Router 是一个开源 Python 库，旨在为大语言模型（LLM）和 AI 智能体提供超高速决策层。它不依赖缓慢的 LLM 生成来做工具使用或路由决策，而是利用语义向量空间，根据含义将用户查询路由到合适的路由或工具。 主要特性包括： - **语义路由**：通过示例话语定义路由，路由器使用嵌入模型快速将传入查询分类到正确类别。 - **编码器支持**：集成 Cohere、OpenAI、HuggingFace 和 FastEmbed 等多种嵌入提供商，支持云端和完全本地执行。 - **向量数据库集成**：支持与 Pinecone 和 Qdrant 同步嵌入，以实现可扩展的索引和检索。 - **动态路由**：支持基于用户查询生成参数和调用函数。 - **多模态路由**：能够处理和路由多模态数据（例如图像）。 - **阈值优化**：允许训练和调整路由阈值，以优化分类性能。 - **集成**：可轻松与 LangChain 智能体及其他 LLM 框架集成。 该库有两个发布线：稳定的 0.x 线，以及目前正在 main 分支上开发的 1.x 破坏性重写版本。