عن المشروع

LLM Systems Manager هي منصة عمليات ذاتية الاستضافة لبنية LLM التحتية، تغطي المراقبة والتحكم عن بعد والضبط والتوجيه والتنبيهات في مكان واحد. تتكامل مع llama.cpp وvLLM وLM Studio وstable-diffusion.cpp وبيانات جلسات OpenClaw، بينما يبلّغ وكيلها عن مقاييس المضيف العامة لأي جهاز Linux أو macOS؛ وتُدرج تكاملات Ollama ضمن خارطة الطريق. تشمل مسارات التثبيت مثبّتاً نصياً تفاعلياً (المسار المفضل، يتعامل مع المتطلبات المسبقة وInfluxDB والإعدادات وTLS والوكلاء)، وحزم .deb/.rpm أصلية، وDocker Compose لطبقة تحكم محوّاة، وصيغ Homebrew لـ macOS Apple Silicon وLinux، وحزمة وكيل مستقلة لأجهزة بدون Python. ينشر المثبّت أحدث إصدار من GitHub Release مع التحقق بـ SHA-256 ويمكّن وحدات systemd دون بدء الخدمات تلقائياً. أبرز القدرات الموصوفة في README: - Model Autopilot: وضع النماذج وفق الحالة المعلنة مع تقييد بذاكرة المضيف (VRAM أو RAM)، والتحويل عند تعطل مضيف، وتوسيع النسخ حسب الطلب. معطّل افتراضياً؛ يقترح والمشغل يوافق. - بوابة استدلال متوافقة مع OpenAI: نقطة نهاية واحدة أمام llama.cpp وLM Studio وvLLM، مع كتالوج /v1/models مدمج وتوجيه حسب تثبيت لكل نموذج، أو round-robin للمجموعة، أو التحويل عند الفشل. - GPU Report Card: معيار قياس موحّد ينتج بطاقات قابلة للمقارنة تتضمن زمن أول رمز، وإنتاجية التعبئة والتوليد، والرموز/جول، و$/Mtok المقاسة، وGPU المستخدم. - ذكاء الطاقة والتكلفة: $/Mtok مقاسة من سحب الطاقة الفعلي، وتوفير شهري مقابل أسعار واجهات API المستضافة، ومحاسبة طاقة الخمول، ومدير أداء لكل مضيف يضبط حاكم CPU وملفات التبريد حسب الحمل. - القياس والضبط التلقائي: قياسات على مستوى المكتبة مع ضوابط تلقائية لإعداد سياق/فتحات llama.cpp وmax-model-len في vLLM. - إدارة النماذج: تنزيلات Hugging Face والتقليم، وملفات تعريف مسمّاة (chat/code/general) لإعادة التحميل بنقرة واحدة. - تحكم عن بعد دون SSH: تشغيل الخوادم، وتبديل النماذج الساخن، وتحرير الإعدادات، وتحديث llama.cpp، ومتابعة السجلات، وفتح طرفية داخل المتصفح؛ ويوفر بوت Discord أوامر مشابهة. - قياس وتنبيه واعٍ بـ LLM: الفتحات، والرموز/ثانية، ومعالجة المطالبات، وKV cache والسياق إلى جانب إحصاءات GPU وPSU وUPS والتبريد؛ ومحرك إنذار مستقل يحفظ العينات في InfluxDB، ويقيّم قواعد العتبات والشذوذ، ويُشعر عبر البريد/التنبيه/Webhook/Discord، ويخزّن مؤقتاً خلال الانقطاعات، ويربط التنبيهات المترابطة في حوادث. تشمل الميزات الإضافية مشغّل Tools (Report Card، Benchmark، Autotune مع سجل تشغيل على مستوى الأسطول)، وخيارات التخطيط والمظهر (محركا Grid أو Flow، وإعدادات الأدوار المسبقة، وكثافة مضغوطة، وسبعة سمات)، ورفيق هاتف PWA قابل للتثبيت مع تنبيهات فورية، وأدوار متعددة المستخدمين مع سجل تدقيق إداري، ونسخ احتياطي مجدول مشفّر، وتحليلات تكلفة/ميزانية OpenClaw، وتبويب توليد الصور، وTLS/mTLS على جميع الاتصالات مع دعم إحضار شهادتك الخاصة.