इस प्रोजेक्ट के बारे में

PrivateGPT स्वयं को स्थानीय मॉडलों पर निजी AI एप्लिकेशन बनाने के लिए एक ओपन-सोर्स API परत के रूप में वर्णित करता है। यह स्वयं मॉडल नहीं चलाता; बल्कि यह OPENAI_API_BASE के माध्यम से किसी भी OpenAI-संगत inference सर्वर (जैसे Ollama, llama.cpp, या vLLM) से जुड़ता है और Claude API के आधार पर मॉडल की गई एक API प्रदान करता है। यह प्रोजेक्ट 2023 में दस्तावेज़ों के साथ ऑफ़लाइन चैट करने के एक लोकप्रिय proof of concept के रूप में शुरू हुआ था, और संस्करण 1.0 को एक व्यापक एप्लिकेशन बैकएंडड के रूप में शुरू से पुनर्निर्मित किया गया। मुख्य क्षमताओं में स्ट्रीमिंग, अतुल्यकालिक प्रोसेसिंग और टोकन गिनती के साथ एक मानक संदेश API; फ़ाइल और कृत्रिम वस्तु निगमन; उद्धरणों के साथ पुनर्प्राप्ति; एजेंटिक RAG; वेब खोज, वेब फ़ेच और कोड निष्पादन जैसे अंतर्निर्मित टूल्स; कस्टम टूल्स और MCP कनेक्टर्स; डेटाबेस और CSV तक संरचित पहुंच; एम्बेडिंग्स; और जुड़े हुए inference सर्वर से मॉडल चयन शामिल हैं। /ui पर उपलब्ध अंतर्निर्मित वर्कबेंच UI को परीक्षण, डेमो और स्थानीय पायलट के लिए बनाया गया है, न कि मूल उत्पाद के रूप में। वास्तविक उत्पाद API है। स्थापना विकल्पों में macOS पर Homebrew, Linux और Windows पर uv टूल स्थापना, और Docker शामिल हैं (पूर्ण क्विकस्टार्ट गाइड में शामिल)। README में Claude Code, Claude Desktop/Cowork, Claude for Microsoft 365, OpenCode के साथ एकीकरण, और n8n, VS Code, Cline और अन्य क्लाइंट्स के साथ संगतता सूचीबद्ध है जो स्थानीय OpenAI-संगत प्रदाता को लक्षित कर सकते हैं। Ollama, LM Studio, LocalAI, vLLM और llama.cpp जैसे inference सर्वरों की तुलना में, PrivateGPT स्वयं को स्थानीय मॉडल inference के ऊपर एक परत के रूप में रखता है। Onyx और Open WebUI जैसे app-first उत्पादों की तुलना में, यह स्वयं को API-first के रूप में वर्णित करता है, जो स्व-होस्टेड AI एप्लिकेशन बनाने के लिए एक मानकीकृत स्थानीय बैकएंडड प्रदान करता है। PrivateGPT का रखरखाव Zylon द्वारा किया जाता है, जो PrivateGPT के इर्द-गिर्द निर्मित एक अलग उद्यम AI अवसंरचना उत्पाद भी प्रदान करता है। प्रोजेक्ट में एक सक्रिय समुदाय है और यह GitHub के माध्यम से योगदान स्वीकार करता है।