عن المشروع

DeepSpeed هي مكتبة لتحسين النظام تتيح تدريب نماذج التعلم العميق الضخمة، بما في ذلك تلك التي تحتوي على مئات المليارات من المعلمات. وهي توفر مجموعة من الابتكارات للتغلب على اختناقات الذاكرة والحوسبة، مثل ZeRO (Zero Redundancy Optimizer)، وZeRO-Infinity، و3D-Parallelism، وUlysses Sequence Parallelism، وDeepSpeed-MoE. تتكامل المكتبة مع العديد من الأطر مفتوحة المصدر الشهيرة، بما في ذلك Hugging Face Transformers وAccelerate وPyTorch Lightning وMosaicML وDetermined وMMEngine. كما تدعم مجموعة واسعة من مسرعات الأجهزة، بما في ذلك NVIDIA GPUs (من Pascal إلى Hopper)، وAMD GPUs (MI100, MI200)، وIntel Gaudi، وIntel Xeon CPUs، وIntel Data Center GPU Max series، وHuawei Ascend NPUs. تشمل القدرات الرئيسية ما يلي: - تحسين الذاكرة للنماذج ذات التريليونات من المعلمات عبر ZeRO. - تدريب واستنتاج موزعان وفعالان للنماذج القائمة على Transformer. - دعم تدريب التسلسلات الطويلة وخليط الخبراء (MoE). - محركات تفريغ متقدمة (مثل ZenFlow وSuperOffload) للاستفادة من ذاكرة CPU وNVMe.