这个项目能做什么

Langchain-Chatchat（原 Langchain-ChatGLM）是一个基于 Langchain 框架与 ChatGLM、Qwen、Llama 等大语言模型实现的开源、可离线部署的 RAG（检索增强生成）与 Agent 应用项目。其目标是建立一套对中文场景与开源模型友好、可完全离线运行的知识库问答解决方案。 核心原理流程为：加载文件、读取文本、文本分割、文本向量化、问句向量化、在向量库中匹配最相似的 top k 文本、将匹配文本作为上下文与问题一起加入 prompt、提交给 LLM 生成回答。项目本身不涉及微调或训练，但可通过微调优化效果。 0.3.x 版本功能包括：LLM 对话、知识库对话、搜索引擎对话、文件对话（统一为 File RAG，支持 BM25+KNN 等多种检索方式）、数据库对话、多模态图片对话、ARXIV 文献对话、Wolfram 对话、文生图、本地知识库管理以及 WebUI。核心功能由 Agent 实现，用户也可手动进行工具调用，支持自动工具调用、仅解析工具参数、手动填参等不同模式。 模型接入方面，0.3.x 不再直接按本地路径加载模型，而是通过主流模型推理框架接入，包括 Xinference、LocalAI、Ollama、FastChat，以及在线 API 框架 One API（支持 OpenAI、Azure OpenAI、Anthropic Claude、智谱清言、百川等）。所有模型接入均兼容 OpenAI SDK。 部署方式提供 pip 安装（pip install langchain-chatchat -U）、源码安装/开发部署以及 Docker 部署。使用流程包括：启动模型推理框架并加载模型、执行 chatchat init 初始化配置与数据目录、修改 model_settings.yaml 等配置文件、执行 chatchat kb -r 初始化知识库、执行 chatchat start -a 启动项目。项目支持 Python 3.8-3.11，可在 Windows、macOS、Linux 上运行，硬件支持 CPU、GPU、NPU、MPS。 项目代码遵循 Apache-2.0 协议。里程碑包括 2023 年 4 月发布 0.1.0、2023 年 8 月更名并发布 0.2.0、2023 年 12 月获得超过 20K stars、2024 年 6 月发布 0.3.0 全新架构。