vllm-ascend

vLLM Ascend (vllm-ascend) هو ملحق للأجهزة تم تطويره بواسطة المجتمع، يتيح تشغيل vLLM بسلاسة على وحدات معالجة الشبكة العصبية Huawei Ascend. وهو النهج الموصى به ضمن مجتمع vLLM لدعم البنية الخلفية لـ Ascend، حيث يلتزم بـ Hardware Pluggable RFC لفصل تكامل Ascend NPU عن نواة vLLM. تشمل الأجهزة المدعومة سلسلة Atlas 800I A2 Inference، وسلسلة Atlas A2 Training، وسلسلة Atlas 800I A3 Inference، وسلسلة Atlas A3 Training، وAtlas 300I Duo (تجريبي). يعمل الملحق على Linux مع Python 3.9–3.11، وCANN 8.2.rc1+، وPyTorch 2.7.1+، وtorch-npu، وإصدار vLLM مطابق. باستخدام هذا الملحق، يمكن تشغيل نماذج مفتوحة المصدر شائعة — بما في ذلك الهندسات الشبيهة بـ Transformer، وMixture-of-Expert (MoE)، وembedding، وLLMs متعددة الوسائط — على أجهزة Ascend NPU. يوفر المشروع فرعًا رئيسيًا وفرعًا للتطوير متوافقين مع إصدارات vLLM، مع مراقبة جودة CI. أحدث إصدار مستقر هو v0.7.3.post1، مع توافر إصدارات مرشحة v0.10.0rc1 وv0.9.1rc2. المشروع مرخص بموجب Apache 2.0، ويعقد اجتماعات مجتمعية أسبوعية، ويرحب بالمساهمات عبر القضايا ومنتدى المطورين. تُظهر قصص المستخدمين التكامل مع أدوات مثل LLaMA-Factory، وverl، وTRL، وGPUStack عبر سيناريوهات الضبط الدقيق، والتقييم، والتعلم المعزز، والنشر.