这个项目能做什么

PrivateGPT 将自身描述为一个开源 API 层，用于在本地模型之上构建私有 AI 应用。它本身不运行模型，而是通过 OPENAI_API_BASE 连接任何 OpenAI 兼容的推理服务器（例如 Ollama、llama.cpp 或 vLLM），并对外提供一套以 Claude API 为蓝本的 API。该项目最初是 2023 年一个广受欢迎的离线文档聊天概念验证，1.0 版本则从头重建，定位为更通用的应用后端。 其核心能力包括：支持流式输出、异步处理和 token 计数的标准 messages API；文件与工件摄取；带引用来源的检索；agentic RAG；内置工具，如网页搜索、网页抓取和代码执行；自定义工具和 MCP 连接器；对数据库和 CSV 的结构化访问；嵌入；以及从所连接推理服务器中进行模型选择。内置的 workbench UI 可通过 /ui 访问，主要用于测试、演示和本地试点，而不是核心产品。真正的产品是 API。 安装方式包括：在 macOS 上使用 Homebrew，在 Linux 和 Windows 上使用 uv tool 安装，以及 Docker（完整快速入门指南中有说明）。README 列出了与 Claude Code、Claude Desktop/Cowork、Claude for Microsoft 365、OpenCode 的集成，并与 n8n、VS Code、Cline 以及其他可指向本地 OpenAI 兼容提供方的工具兼容。 与 Ollama、LM Studio、LocalAI、vLLM 和 llama.cpp 等推理服务器相比，PrivateGPT 将自身定位为位于本地模型推理之上的中间层。与 Onyx 和 Open WebUI 等以应用为先的产品相比，它强调自己是 API 优先，为构建自托管 AI 应用提供标准化的本地后端。PrivateGPT 由 Zylon 维护，该公司还围绕 PrivateGPT 提供单独的企业级 AI 基础设施产品。该项目拥有活跃社区，并通过 GitHub 接受贡献。