প্রকল্প সম্পর্কে

PrivateGPT নিজেকে একটি ওপেন-সোর্স API লেয়ার হিসেবে বর্ণনা করে, যা লোকাল মডেলের উপর প্রাইভেট AI অ্যাপ্লিকেশন তৈরির জন্য ব্যবহৃত হয়। এটি নিজে মডেল চালায় না; বরং এটি যেকোনো OpenAI-সামঞ্জস্যপূর্ণ ইনফারেন্স সার্ভারের (যেমন Ollama, llama.cpp, বা vLLM) সঙ্গে OPENAI_API_BASE-এর মাধ্যমে সংযোগ স্থাপন করে এবং Claude API-এর আদলে গঠিত একটি API প্রকাশ করে। প্রকল্পটি ২০২৩ সালে ডকুমেন্টের সঙ্গে অফলাইন চ্যাট করার একটি জনপ্রিয় প্রুফ অব কনসেপ্ট হিসেবে শুরু হয়েছিল, এবং সংস্করণ ১.০-এ এটিকে সম্পূর্ণ নতুনভাবে একটি বৃহত্তর অ্যাপ্লিকেশন ব্যাকএন্ড হিসেবে পুনর্নির্মাণ করা হয়েছে। মূল সক্ষমতার মধ্যে রয়েছে স্ট্রিমিং, অ্যাসিংক্রোনাস প্রসেসিং ও টোকেন গণনাসহ একটি স্ট্যান্ডার্ড মেসেজ API; ফাইল ও আর্টিফ্যাক্ট ইনজেশন; সাইটেশনসহ রিট্রিভাল; এজেন্টিক RAG; ওয়েব সার্চ, ওয়েব ফেচ ও কোড এক্সিকিউশনের মতো বিল্ট-ইন টুল; কাস্টম টুল ও MCP কানেক্টর; ডেটাবেস ও CSV-তে স্ট্রাকচার্ড অ্যাক্সেস; এমবেডিং; এবং সংযুক্ত ইনফারেন্স সার্ভার থেকে মডেল নির্বাচন। /ui ঠিকানায় পাওয়া বিল্ট-ইন ওয়ার্কবেঞ্চ UI মূলত পরীক্ষা, ডেমো ও লোকাল পাইলটের জন্য তৈরি, মূল পণ্য হিসেবে নয়। প্রকৃত পণ্য হলো API। ইনস্টলেশন বিকল্পের মধ্যে রয়েছে macOS-এ Homebrew, Linux ও Windows-এ uv টুল ইনস্টলেশন, এবং Docker (সম্পূর্ণ কুইকস্টার্ট গাইডে বিস্তারিত আলোচিত)। README-তে Claude Code, Claude Desktop/Cowork, Claude for Microsoft 365, OpenCode-এর সঙ্গে ইন্টিগ্রেশন এবং n8n, VS Code, Cline ও অন্যান্য ক্লায়েন্টের সঙ্গে সামঞ্জস্যের কথা উল্লেখ আছে, যেগুলো লোকাল OpenAI-সামঞ্জস্যপূর্ণ প্রোভাইডার লক্ষ্য করে কাজ করতে পারে। Ollama, LM Studio, LocalAI, vLLM ও llama.cpp-এর মতো ইনফারেন্স সার্ভারের তুলনায় PrivateGPT নিজেকে লোকাল মডেল ইনফারেন্সের উপরের স্তর হিসেবে উপস্থাপন করে। Onyx ও Open WebUI-এর মতো অ্যাপ-ফার্স্ট পণ্যের তুলনায় এটি নিজেকে API-ফার্স্ট হিসেবে বর্ণনা করে এবং সেলফ-হোস্টেড AI অ্যাপ্লিকেশন তৈরির জন্য একটি স্ট্যান্ডার্ডাইজড লোকাল ব্যাকএন্ড প্রদান করে। PrivateGPT রক্ষণাবেক্ষণ করে Zylon, যারা PrivateGPT-কে কেন্দ্র করে একটি পৃথক এন্টারপ্রাইজ AI ইনফ্রাস্ট্রাকচার পণ্যও প্রদান করে। প্রকল্পটির একটি সক্রিয় কমিউনিটি রয়েছে এবং এটি GitHub-এর মাধ্যমে অবদান গ্রহণ করে।