इस प्रोजेक्ट के बारे में

TextGen बड़े भाषा मॉडलों (LLMs) को स्थानीय रूप से चलाने के लिए एक ओपन-सोर्स डेस्कटॉप एप्लिकेशन है। यह गोपनीयता-सचेत उपयोगकर्ताओं के लिए डिज़ाइन किया गया है जो ChatGPT जैसे इंटरफेस चाहते हैं लेकिन डेटा को बाहरी सेवाओं पर नहीं भेजना चाहते: प्रोजेक्ट का दावा है कि यह 100% ऑफ़लाइन है, जिसमें शून्य टेलीमेट्री, बाहरी संसाधन या रिमोट अपडेट अनुरोध शामिल नहीं हैं। शुरू करना तेज़ है। Linux, Windows और macOS के लिए पोर्टेबल बिल्ड रिलीज़ के रूप में प्रकाशित किए जाते हैं, जिनमें CUDA, Vulkan, ROCm और केवल CPU वाले वेरिएंट होते हैं और सभी निर्भरताएं शामिल होती हैं। अनज़िप और लॉन्च करने के बाद, एक विंडो खुलती है। Hugging Face से GGUF मॉडल को user_data/models फ़ोल्डर में डाला जा सकता है और वे स्वचालित रूप से पहचाने जाते हैं। एक पूर्ण इंस्टॉलेशन पथ भी उन उपयोगकर्ताओं के लिए दस्तावेज़ीकृत है जिन्हें अतिरिक्त बैकएंड, ट्रेनिंग, इमेज जनरेशन या एक्सटेंशन की आवश्यकता होती है; इसमें Miniforge/Conda या एक-क्लिक स्टार्ट स्क्रिप्ट का उपयोग किया जाता है और लगभग 10GB डिस्क स्पेस की आवश्यकता होती है। मुख्य क्षमताओं में शामिल हैं: - चैट और जेनरेशन: निर्देश-अनुसरण के लिए इन्स्ट्रक्ट मोड, प्लस कस्टम कैरेक्टर के लिए चैट और चैट-इन्स्ट्रक्ट मोड, जिनमें Jinja2 टेम्पलेट्स के माध्यम से प्रॉम्प्ट्स को फॉर्मेट किया जाता है। एक नोटबुक टैब फ्री-फॉर्म जेनरेशन का समर्थन करता है। - मल्टीमोडल इनपुट: दृश्य समझ के लिए छवियों को संदेशों के साथ जोड़ा जा सकता है, और चर्चा के लिए टेक्स्ट फाइलें, PDFs और .docx दस्तावेज़ अपलोड किए जा सकते हैं। - संवाद प्रबंधन: संदेशों को संपादित करें, संदेश संस्करणों के बीच नेविगेट करें और संवादों को ब्रांच करें। - कई बैकएंड: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 और TensorRT-LLM, पुनः आरंभ किए बिना बैकएंड और मॉडल को बदलने की क्षमता के साथ। - API संगतता: टूल-कॉलिंग समर्थन के साथ OpenAI/Anthropic-संगत Chat, Completions और Messages एंडपॉइंट्स, जिन्हें इन APIs के लिए स्थानीय ड्रॉप-इन विकल्प के रूप में प्रस्तुत किया गया है। - टूल-कॉलिंग: मॉडल वेब सर्च, पेज फेचिंग और गणित जैसे कस्टम कार्यों को कॉल कर सकते हैं; प्रत्येक टूल एक एकल Python फाइल है, और MCP सर्वर समर्थित हैं। - ट्रेनिंग: मल्टी-टर्न चैट या रॉ टेक्स्ट डेटासेट पर LoRAs को फाइन-ट्यून करें, रिस्यूमेबल रन के साथ। - इमेज जनरेशन: 4-बिट/8-बिट क्वांटाइजेशन और एक स्थायी गैलरी के साथ diffusers मॉडल के लिए एक समर्पित टैब जो इमेज मेटाडेटा को स्टोर करता है। - इंटरफेस: डार्क/लाइट थीम्स, कोड सिंटैक्स हाइलाइटिंग, LaTeX रेंडरिंग, और TTS, वॉइस इनपुट और अनुवाद सहित बिल्ट-इन या कम्युनिटी एक्सटेंशन। प्रोजेक्ट मॉडल लोडर्स, कॉन्टेक्स्ट और KV कैश विकल्पों, स्पेकुलेटिव डिकोडिंग, GPU लेयर ऑफलोडिंग, टेंसर स्प्लिटिंग, क्वांटाइजेशन, सैंपलिंग पैरामीटर और सर्वर/API कॉन्फ़िगरेशन को कवर करने वाला एक विस्तृत कमांड-लाइन फ्लैग सेट प्रकट करता है। NVIDIA, AMD, Intel और केवल CPU सेटअप के लिए Docker Compose फाइलें प्रदान की जाती हैं। TextGen को एक होस्टेड सेवा के बजाय एक स्थानीय मॉडल रनटाइम और चैट फ्रंट एंड के रूप में सबसे अच्छी तरह समझा जा सकता है। इसका मुख्य मूल्य एक ऑफ़लाइन पैकेज में डेस्कटॉप UI, एक OpenAI-संगत API और मॉडल प्रबंधन को संयोजित करना है, जिससे यह उन उपयोगकर्ताओं के लिए उपयुक्त हो जाता है जो अपने स्वयं के हार्डवेयर पर डेटा को रखते हुए स्थानीय LLMs के साथ प्रयोग या तैनात करना चाहते हैं।