Об этом проекте

PrivateGPT описывает себя как открытый API-слой для создания приватных ИИ-приложений поверх локальных моделей. Он не выполняет модели самостоятельно, а подключается к любому серверу инференса, совместимому с OpenAI, например к Ollama, llama.cpp или vLLM, через OPENAI_API_BASE и предоставляет API, построенный по образцу Claude API. Проект начинался в 2023 году как популярный proof of concept для офлайн-общения с документами, а версия 1.0 была полностью переработана и превращена в более широкий бэкенд для приложений. Ключевые возможности включают стандартный messages API с потоковой передачей, асинхронной обработкой и подсчётом токенов; приём файлов и артефактов; поиск с указанием источников; агентный RAG; встроенные инструменты, такие как веб-поиск, загрузка веб-страниц и выполнение кода; пользовательские инструменты и коннекторы MCP; структурированный доступ к базам данных и CSV-файлам; эмбеддинги; а также выбор модели с подключённого сервера инференса. Встроенный интерфейс workbench, доступный по адресу /ui, предназначен для тестирования, демонстраций и локальных пилотов, а не как основной продукт. Основной продукт — это API. Варианты установки включают Homebrew на macOS, установку через uv на Linux и Windows, а также Docker, что описано в полном руководстве по быстрому старту. В README перечислены интеграции с Claude Code, Claude Desktop/Cowork, Claude для Microsoft 365, OpenCode, а также совместимость с такими инструментами, как n8n, VS Code, Cline и другими клиентами, которые могут работать с локальным провайдером, совместимым с OpenAI. По сравнению с серверами инференса, такими как Ollama, LM Studio, LocalAI, vLLM и llama.cpp, PrivateGPT позиционирует себя как слой выше локального инференса моделей. По сравнению с продуктами, ориентированными прежде всего на приложения, такими как Onyx и Open WebUI, он описывает себя как решение с приоритетом API, предоставляющее стандартизированный локальный бэкенд для создания самостоятельно размещаемых ИИ-приложений. PrivateGPT поддерживается компанией Zylon, которая также предлагает отдельный корпоративный продукт ИИ-инфраструктуры, построенный вокруг PrivateGPT. У проекта активное сообщество, и он принимает вклад через GitHub.