عن المشروع

KTransformers هو مشروع بحثي من مختبر MADSys بجامعة تسينغهوا، وApproaching.AI، و9#AISoft، يركز على الاستدلال والضبط الدقيق الفعال لنماذج اللغات الكبيرة (LLMs) من خلال الحوسبة غير المتجانسة بين CPU وGPU. يقدم المشروع وظيفتين رئيسيتين للمستخدمين: الاستدلال عالي الأداء عبر حزمة الخدمة `kt-kernel`، والضبط الدقيق (SFT) المتكامل مع LLaMA-Factory. ## القدرات ### الاستدلال (خدمة kt-kernel) - **تسريع AMX/AVX**: نواة محسّنة للاستدلال الكمي INT4/INT8 باستخدام مجموعات تعليمات Intel AMX وAVX512/AVX2. - **تحسين MoE**: استدلال فعال لمزيج الخبراء (Mixture-of-Experts) مع إدارة ذاكرة مراعية لـ NUMA، مما يتيح وضع الخبراء بشكل غير متجانس (الخبراء الساخنون على GPU، والخبراء الباردون على CPU). - **دعم الكمية**: أوزان INT4/INT8 مكممة على جانب CPU ودعم GPTQ على جانب GPU. - **التكامل**: واجهة برمجة تطبيقات Python نظيفة للتكامل السلس مع SGLang وأطر الخدمة الأخرى. - **مرونة العتاد**: يدعم NVIDIA GPUs وAMD ROCm وIntel Arc GPUs وAscend NPUs. ### الضبط الدقيق (SFT مع LLaMA-Factory) - **دعم نماذج MoE فائقة الكبرى**: ضبط دقيق لنماذج مثل DeepSeek-V3/R1 وKimi K2.5/K2.6 على ذاكرة GPU محدودة. - **الأداء**: تقارير تشير إلى تسريع التدريب بمقدار 6-12 مرة مقارنة بـ ZeRO-Offload في أعباء عمل SFT لـ MoE المختبرة، مع تقليل استخدام ذاكرة CPU. - **التكوينات**: يدعم BF16 وFP8 وINT8 وLoRA والضبط الدقيق الكامل للمعلمات. - **التكامل**: تكامل سلس مع إطار عمل LLaMA-Factory الشهير. ## دعم النماذج يوفر KTransformers دعماً مبكراً (Day0) لمجموعة واسعة من النماذج، بما في ذلك DeepSeek-V3/R1/V4-Flash وGLM-4/5/5.2/5.3-flash وKimi-K2/K2.5/K2.6/Thinking وMiniMax-M2.1/M3 وQwen3-MoE/Next وMixtral وLLaMA-4 وغيرها. كما يدعم تنسيقات كمية متنوعة بما في ذلك INT4 وINT8 وFP8 والأوزان الهجينة. ## البدء السريع للاستدلال: ```bash cd kt-kernel pip install . ``` للضبط الدقيق: ```bash cd /path/to/LLaMA-Factory python -m pip install -e . python -m pip install "ktransformers[sft]==0.7.0" python -m pip install "sglang-kt==0.7.0" CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \ --config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \ src/train.py \ examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml ``` يتم تطوير المشروع بنشاط، مع تحديثات متكررة تدعم نماذج وميزات جديدة، وتتوفر وثائق مفصلة باللغتين الإنجليزية والصينية.