À propos du projet

PrivateGPT se décrit comme une couche API open source permettant de construire des applications IA privées sur des modèles locaux. Il n’exécute pas lui-même les modèles ; il se connecte à tout serveur d’inférence compatible OpenAI (par exemple Ollama, llama.cpp ou vLLM) via OPENAI_API_BASE et expose une API inspirée de l’API Claude. Le projet a démarré en 2023 comme une preuve de concept populaire pour discuter avec des documents hors ligne, puis la version 1.0 a été entièrement reconstruite pour devenir un backend applicatif plus large. Les capacités clés comprennent une API messages standard avec streaming, traitement asynchrone et comptage de tokens ; l’ingestion de fichiers et d’artefacts ; la récupération avec citations ; le RAG agentique ; des outils intégrés tels que recherche web, récupération web et exécution de code ; des outils personnalisés et connecteurs MCP ; un accès structuré aux bases de données et fichiers CSV ; les embeddings ; et la sélection de modèle depuis le serveur d’inférence connecté. L’interface workbench intégrée, accessible à /ui, est destinée aux tests, démonstrations et pilotes locaux plutôt qu’au produit principal. Le produit réel est l’API. Les options d’installation incluent Homebrew sur macOS, l’installation via uv tool sur Linux et Windows, et Docker (décrit dans le guide de démarrage rapide complet). Le README mentionne des intégrations avec Claude Code, Claude Desktop/Cowork, Claude for Microsoft 365, OpenCode, ainsi qu’une compatibilité avec des outils tels que n8n, VS Code, Cline et d’autres clients pouvant cibler un fournisseur local compatible OpenAI. Comparé aux serveurs d’inférence comme Ollama, LM Studio, LocalAI, vLLM et llama.cpp, PrivateGPT se positionne comme la couche située au-dessus de l’inférence de modèles locaux. Comparé aux produits orientés application comme Onyx et Open WebUI, il se décrit comme API-first, fournissant un backend local standardisé pour construire des applications IA auto-hébergées. PrivateGPT est maintenu par Zylon, qui propose également un produit distinct d’infrastructure IA d’entreprise construit autour de PrivateGPT. Le projet dispose d’une communauté active et accepte les contributions via GitHub.