منصوبے کے بارے میں

TextGen ایک اوپن سورس ڈیسک ٹاپ ایپلیکیشن ہے جو بڑے لینگویج ماڈلز کو مقامی طور پر چلانے کے لیے بنائی گئی ہے۔ یہ ان صارفین کے لیے ڈیزائن کی گئی ہے جو رازداری کے بارے میں حساس ہیں اور ChatGPT جیسا انٹرفیس چاہتے ہیں بغیر ڈیٹا کو بیرونی خدمات تک بھیجے: پروجیکٹ کے مطابق یہ 100% آف لائن ہے جس میں صفر ٹیلی میٹری، بیرونی وسائل، یا ریموٹ اپڈیٹ کی درخواستیں شامل نہیں ہیں۔ شروع کرنا آسان ہے۔ Linux، Windows اور macOS کے لیے پورٹیبل بلڈز ریلیز کے طور پر جاری کیے جاتے ہیں، جن میں CUDA، Vulkan، ROCm اور صرف CPU والے ورژن شامل ہیں اور تمام ڈیپینڈنسیز شامل ہوتی ہیں۔ ان زپ کرنے اور لانچ کرنے کے بعد ایک ونڈو کھلتی ہے۔ Hugging Face کے GGUF ماڈلز کو user_data/models فولڈر میں ڈالا جا سکتا ہے اور وہ خود بخود ڈیٹیکٹ ہو جاتے ہیں۔ اضافی بیک اینڈز، ٹریننگ، تصویری تخلیق یا ایکسٹینشنز کی ضرورت والے صارفین کے لیے مکمل انسٹالیشن کا راستہ بھی دستاویز کیا گیا ہے؛ یہ Miniforge/Conda یا یک کلک اسٹارٹ اسکرپٹ استعمال کرتا ہے اور تقریباً 10GB ڈسک اسپیس درکار ہوتی ہے۔ بنیادی صلاحیتیں درج ذیل ہیں: - چیٹ اور جنریشن: انسٹرکشن موڈ جس میں ہدایات پر عمل کیا جاتا ہے، نیز حسب ضرورت کرداروں کے لیے چیٹ اور چیٹ-انسٹرکٹ موڈز، جن میں پرامپٹس Jinja2 ٹیمپلیٹس کے ذریعے فارمیٹ ہوتے ہیں۔ نوٹ بک ٹیب آزاد فارم جنریشن سپورٹ کرتا ہے۔ - ملٹی موڈل ان پٹ: بصری فہم کے لیے پیغامات میں تصاویر منسلک کی جا سکتی ہیں، اور متن کی فائلیں، PDFs اور .docx دستاویزات بحث کے لیے اپ لوڈ کی جا سکتی ہیں۔ - گفتگو کا انتظام: پیغامات میں ترمیم کریں، پیغام کے ورژنز کے درمیان نیویگیٹ کریں، اور گفتگو کو برانچ کریں۔ - متعدد بیک اینڈز: llama.cpp، ik_llama.cpp، Transformers، ExLlamaV3 اور TensorRT-LLM، بغیر ری اسٹارٹ کیے بیک اینڈ اور ماڈل تبدیل کرنے کی صلاحیت کے ساتھ۔ - API مطابقت: OpenAI/Anthropic سے مطابقت رکھنے والے Chat، Completions اور Messages اینڈ پوائنٹس، جن میں ٹول کالنگ سپورٹ شامل ہے، اور ان APIs کے لیے مقامی ڈراپ-ان ریپلیسمنٹ کے طور پر پیش کیا جاتا ہے۔ - ٹول کالنگ: ماڈلز حسب ضرورت فنکشنز جیسے ویب تلاش، صفحہ لانا اور ریاضی استعمال کر سکتے ہیں؛ ہر ٹول ایک واحد Python فائل ہے، اور MCP سرورز سپورٹ کیے جاتے ہیں۔ - ٹریننگ: ملٹی ٹرن چیٹ یا خام ٹیکسٹ ڈیٹاسیٹس پر LoRAs کو فائن ٹیون کریں، جس میں ریزوم کرنے کی سہولت موجود ہے۔ - تصویری تخلیق: diffusers ماڈلز کے لیے مخصوص ٹیب، جس میں 4-bit/8-bit کوانٹائزیشن اور ایک مستقل گیلری ہے جو تصویری میٹاڈیٹا محفوظ کرتی ہے۔ - انٹرفیس: ڈارک/لائٹ تھیمز، کوڈ سنٹیکس ہائی لائٹنگ، LaTeX رینڈرنگ، اور بلٹ ان یا کمیونٹی ایکسٹینشنز جن میں TTS، وائس انپٹ اور ترجمہ شامل ہیں۔ پروجیکٹ کمانڈ لائن فلیگز کا ایک وسیع سیٹ ظاہر کرتا ہے جس میں ماڈل لوڈرز، کونٹیکسٹ اور KV کیچ آپشنز، اسپیکولیٹیو ڈی کوڈنگ، GPU لیئر آف لوڈنگ، ٹینسر سپلٹنگ، کوانٹائزیشن، سیمپلنگ پیرامیٹرز، اور سرور/API کنفیگریشن شامل ہیں۔ NVIDIA، AMD، Intel اور CPU-only سیٹ اپ کے لیے Docker Compose فائلیں فراہم کی گئی ہیں۔ TextGen کو بہترین طور پر ایک مقامی ماڈل رن ٹائم اور چیٹ فرنٹ اینڈ کے طور پر سمجھا جا سکتا ہے، نہ کہ ہوسٹڈ سروس کے طور پر۔ اس کی اہم قدر ایک ڈیسک ٹاپ UI، OpenAI سے مطابقت رکھنے والی API، اور ماڈل مینجمنٹ کو ایک آف لائن پیکج میں یکجا کرنا ہے، جو ان صارفین کے لیے موزوں ہے جو اپنے ہارڈ ویئر پر ڈیٹا رکھتے ہوئے مقامی LLMs کے ساتھ تجربہ یا انہیں تعینات کرنا چاہتے ہیں۔