عن المشروع

TextGen هو تطبيق سطح مكتب مفتوح المصدر لتشغيل نماذج اللغة الكبيرة محليًا. وهو مصمم للمستخدمين المهتمين بالخصوصية الذين يريدون واجهة مشابهة لـ ChatGPT دون إرسال البيانات إلى خدمات خارجية: يذكر المشروع أنه يعمل دون اتصال بالإنترنت بنسبة 100% مع عدم وجود تتبع أو موارد خارجية أو طلبات تحديث عن بُعد. البدء سريع. يتم نشر إصدارات محمولة لأنظمة Linux وWindows وmacOS كإصدارات، مع متغيرات CUDA وVulkan وROCm وCPU-only وجميع التبعيات المضمنة. بعد فك الضغط والتشغيل، تفتح نافذة. يمكن إسقاط نماذج GGUF من Hugging Face في مجلد user_data/models ويتم اكتشافها تلقائيًا. كما يتم توثيق مسار تثبيت كامل للمستخدمين الذين يحتاجون إلى خلفيات إضافية أو تدريب أو توليد صور أو ملحقات؛ يستخدم Miniforge/Conda أو برنامج تشغيل بنقرة واحدة ويتطلب حوالي 10 جيجابايت من مساحة القرص. تشمل القدرات الأساسية: - الدردشة والتوليد: وضع التعليمات لاتباع التعليمات، بالإضافة إلى أوضاع الدردشة والدردشة التعليمية للشخصيات المخصصة، مع تنسيق المطالبات عبر قوالب Jinja2. تدعم علامة تبويب المفكرة التوليد الحر. - الإدخال متعدد الوسائط: يمكن إرفاق الصور بالرسائل للفهم البصري، ويمكن تحميل ملفات نصية وPDF وdocx للمناقشة. - إدارة المحادثة: تحرير الرسائل، والتنقل بين إصدارات الرسائل، وتفرع المحادثات. - خلفيات متعددة: llama.cpp وik_llama.cpp وTransformers وExLlamaV3 وTensorRT-LLM، مع القدرة على تبديل الخلفيات والنماذج دون إعادة التشغيل. - توافق واجهة برمجة التطبيقات: نقاط نهاية Chat وCompletions وMessages متوافقة مع OpenAI/Anthropic مع دعم استدعاء الأدوات، وتعتبر بديلاً محليًا جاهزًا لتلك الواجهات. - استدعاء الأدوات: يمكن للنماذج استدعاء وظائف مخصصة مثل البحث على الويب وجلب الصفحات والرياضيات؛ كل أداة هي ملف Python واحد، ويتم دعم خوادم MCP. - التدريب: ضبط LoRA بدقة على محادثات متعددة الأدوار أو مجموعات بيانات نصية خام، مع تشغيلات قابلة للاستئناف. - توليد الصور: علامة تبويب مخصصة لنماذج diffusers مع تكميم 4-bit/8-bit ومعرض دائم يخزن بيانات الصور الوصفية. - الواجهة: سمات داكنة/فاتحة، وتمييز بناء الجملة، وعرض LaTeX، وملحقات مدمجة أو من المجتمع بما في ذلك TTS وإدخال الصوت والترجمة. يعرض المشروع مجموعة واسعة من خيارات سطر الأوامر التي تغطي محملات النماذج، وخيارات السياق وذاكرة التخزين المؤقت KV، وفك التشفير التخميني، وتفريغ طبقات GPU، وتقسيم الموتر، والتكميم، ومعلمات أخذ العينات، وتكوين الخادم/API. يتم توفير ملفات Docker Compose لإعدادات NVIDIA وAMD وIntel وCPU-only. من الأفضل فهم TextGen كبيئة تشغيل نماذج محلية وواجهة دردشة أمامية بدلاً من خدمة مستضافة. قيمته الرئيسية هي الجمع بين واجهة مستخدم سطح المكتب وواجهة برمجة تطبيقات متوافقة مع OpenAI وإدارة النماذج في حزمة واحدة دون اتصال، مما يجعله مناسبًا للمستخدمين الذين يرغبون في تجربة أو نشر نماذج اللغة المحلية مع الحفاظ على البيانات على أجهزتهم الخاصة.