عن المشروع

NVIDIA Model Optimizer (ModelOpt) هي مكتبة موحدة مفتوحة المصدر لضغط وتسريع نماذج التعلم العميق. تدعم مدخلات نماذج Hugging Face وPyTorch وONNX وتُصدِّر نقاط تفتيش مُكمَّمة محسَّنة جاهزة للنشر في أطر مثل TensorRT-LLM وTensorRT وvLLM وSGLang. تشمل التقنيات الرئيسية: - التكميم بعد التدريب (PTQ): يضغط النماذج بمقدار 2x–4x بصيغ تشمل FP8 وINT8 وNVFP4، مع دعم LLMs وVLMs وDiffusers ونماذج ONNX. - التدريب الواعي بالتكميم (QAT) / التقطير: يحسّن دقة النماذج المُكمَّمة من خلال خطوات تدريب إضافية. - التقليم: يقلل معاملات النموذج والبصمة الذاكرية عبر إزالة الأوزان غير الضرورية، بما في ذلك التقليم غير المتجانس عبر خوارزمية Puzzletron. - التقطير: يعلّم النماذج الأصغر محاكاة النماذج الأكبر لتقليل حجم النشر. - فك التشفير التخميني: يدرّب وحدات المسودة للتنبؤ برموز إضافية أثناء الاستدلال، مما يقلل زمن الاستجابة. - التخلخل: يضغط النماذج عبر تخزين قيم المعاملات غير الصفرية ومواقعها فقط. - البحث عن البنية العصبية (NAS): يكتشف بنى نموذجية فعّالة. تتكامل المكتبة مع NVIDIA Megatron-Bridge وMegatron-LM وHugging Face Accelerate لسير عمل التحسين الذي يتطلب التدريب. كما توفر مهارات وكيل الذكاء الاصطناعي لـ Claude Code وCodex. يتم التثبيت عبر pip (`pip install -U nvidia-modelopt[all]`) أو من المصدر. تتوفر نقاط تفتيش مُكمَّمة مسبقًا لنماذج مثل Llama وDeepSeek-R1 وNemotron على Hugging Face. يتبع المشروع سياسة إهمال منظمة بفترة ترحيل تبلغ إصدارًا واحدًا تقريبًا.