প্রকল্প সম্পর্কে

TextGen একটি ওপেন-সোর্স ডেস্কটপ অ্যাপ্লিকেশন যা স্থানীয়ভাবে বড় ভাষার মডেল (LLM) চালানোর জন্য। এটি গোপনীয়তাসচেতন ব্যবহারকারীদের জন্য ডিজাইন করা হয়েছে যারা বাইরের সার্ভিসে ডেটা না পাঠিয়ে ChatGPT-এর মতো ইন্টারফেস চান: প্রকল্পটি জানায় এটি ১০০% অফলাইন, শূন্য টেলিমেট্রি, বাহ্যিক সংস্থান বা দূরবর্তী আপডেট অনুরোধ ছাড়া। শুরু করা দ্রুত। লিনাক্স, উইন্ডোজ এবং ম্যাকওএস-এর জন্য পোর্টেবল বিল্ড রিলিজ হিসেবে প্রকাশিত হয়, যার সাথে CUDA, Vulkan, ROCm এবং শুধুমাত্র CPU-এর ভ্যারিয়েন্ট এবং সমস্ত নির্ভরতা অন্তর্ভুক্ত থাকে। আনজিপ করে চালু করলে একটি উইন্ডো খোলে। Hugging Face থেকে GGUF মডেলগুলো user_data/models ফোল্ডারে রাখা যায় এবং স্বয়ংক্রিয়ভাবে শনাক্ত হয়। অতিরিক্ত ব্যাকএন্ড, প্রশিক্ষণ, ইমেজ জেনারেশন বা এক্সটেনশনের প্রয়োজন হলে পূর্ণ ইনস্টলেশন পথও নথিভুক্ত করা আছে; এটি Miniforge/Conda বা এক-ক্লিক স্টার্ট স্ক্রিপ্ট ব্যবহার করে এবং প্রায় ১০GB ডিস্ক স্পেস প্রয়োজন। মূল ক্ষমতাগুলির মধ্যে রয়েছে: - চ্যাট এবং জেনারেশন: নির্দেশ অনুসরণের জন্য ইনস্ট্রাক্ট মোড, পাশাপাশি কাস্টম চরিত্রের জন্য চ্যাট এবং চ্যাট-ইনস্ট্রাক্ট মোড, যেখানে প্রম্পট Jinja2 টেমপ্লেটের মাধ্যমে ফরম্যাট করা হয়। একটি নোটবুক ট্যাব ফ্রি-ফর্ম জেনারেশন সমর্থন করে। - মাল্টিমোডাল ইনপুট: ভিজ্যুয়াল বোঝার জন্য বার্তার সাথে ছবি সংযুক্ত করা যায় এবং আলোচনার জন্য টেক্সট ফাইল, PDF এবং .docx ডকুমেন্ট আপলোড করা যায়। - কথোপকথন ব্যবস্থাপনা: বার্তা সম্পাদনা, বার্তার সংস্করণগুলির মধ্যে নেভিগেট করা এবং কথোপকথন শাখা তৈরি করা। - একাধিক ব্যাকএন্ড: llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 এবং TensorRT-LLM, রিস্টার্ট না করেই ব্যাকএন্ড এবং মডেল পরিবর্তন করার ক্ষমতা সহ। - API সামঞ্জস্য: OpenAI/Anthropic-সামঞ্জস্যপূর্ণ Chat, Completions এবং Messages এন্ডপয়েন্ট, টুল-কলিং সমর্থন সহ, যা সেই API-গুলির জন্য স্থানীয় ড্রপ-ইন প্রতিস্থাপন হিসেবে অবস্থান করে। - টুল-কলিং: মডেলগুলি ওয়েব সার্চ, পৃষ্ঠা ফেচিং এবং গণিতের মতো কাস্টম ফাংশন আহ্বান করতে পারে; প্রতিটি টুল একটি একক Python ফাইল এবং MCP সার্ভার সমর্থিত। - প্রশিক্ষণ: মাল্টি-টার্ন চ্যাট বা কাঁচা টেক্সট ডেটাসেটে LoRA ফাইন-টিউন করুন, পুনরায় শুরুযোগ্য রান সহ। - ইমেজ জেনারেশন: ডিফিউজার মডেলের জন্য একটি ডেডিকেটেড ট্যাব, ৪-বিট/৮-বিট কোয়ান্টাইজেশন এবং একটি স্থায়ী গ্যালারি যা ইমেজ মেটাডেটা সংরক্ষণ করে। - ইন্টারফেস: ডার্ক/লাইট থিম, কোড সিনট্যাক্স হাইলাইটিং, LaTeX রেন্ডারিং এবং বিল্ট-ইন বা কমিউনিটি এক্সটেনশন, যার মধ্যে TTS, ভয়েস ইনপুট এবং অনুবাদ অন্তর্ভুক্ত। প্রকল্পটি একটি বিস্তৃত কমান্ড-লাইন ফ্ল্যাগ সেট প্রকাশ করে যার মধ্যে মডেল লোডার, কনটেক্সট এবং KV ক্যাশ অপশন, স্পেকুলেটিভ ডিকোডিং, GPU লেয়ার অফলোডিং, টেনসর স্প্লিটিং, কোয়ান্টাইজেশন, স্যাম্পলিং প্যারামিটার এবং সার্ভার/API কনফিগারেশন অন্তর্ভুক্ত। NVIDIA, AMD, ইন্টেল এবং শুধুমাত্র CPU সেটআপের জন্য Docker Compose ফাইল দেওয়া আছে। TextGen-কে একটি হোস্টেড সার্ভিসের পরিবর্তে স্থানীয় মডেল রানটাইম এবং চ্যাট ফ্রন্ট এন্ড হিসেবে বোঝা ভালো। এর প্রধান মূল্য হলো একটি ডেস্কটপ UI, একটি OpenAI-সামঞ্জস্যপূর্ণ API এবং মডেল ব্যবস্থাপনাকে একটি অফলাইন প্যাকেজে একত্রিত করা, যা তাদের নিজস্ব হার্ডওয়্যারে ডেটা রাখতে চান এমন ব্যবহারকারীদের জন্য উপযুক্ত, যারা স্থানীয় LLM নিয়ে পরীক্ষা বা স্থাপনা করতে চান।