ktransformers

KTransformersは、清華大学MADSys Lab、Approaching.AI、9#AISoftによる研究プロジェクトで、CPU-GPUヘテロジニアスコンピューティングを通じた大規模言語モデル（LLM）の効率的な推論とファインチューニングに焦点を当てています。このプロジェクトは、主にユーザー向けの2つの機能を提供します：`kt-kernel`サービングスタックによる高性能推論と、LLaMA-Factoryと統合したファインチューニング（SFT）です。 ## 機能 ### 推論（kt-kernelサービング） - **AMX/AVXアクセラレーション**：Intel AMXおよびAVX512/AVX2命令セットを使用したINT4/INT8量子化推論用の最適化カーネル。 - **MoE最適化**：NUMA対応メモリ管理による効率的なMixture-of-Experts推論で、ヘテロジニアスなエキスパート配置（ホットエキスパートはGPU、コールドエキスパートはCPU）を実現。 - **量子化サポート**：CPU側のINT4/INT8量子化ウェイトとGPU側のGPTQサポート。 - **統合**：SGLangや他のサービングフレームワークとのシームレスな統合のためのクリーンなPython API。 - **ハードウェア柔軟性**：NVIDIA GPU、AMD ROCm、Intel Arc GPU、Ascend NPUをサポート。 ### ファインチューニング（LLaMA-FactoryによるSFT） - **超大型MoEサポート**：限られたGPUメモリでDeepSeek-V3/R1、Kimi K2.5/K2.6などのモデルをファインチューニング。 - **パフォーマンス**：ベンチマークされたMoE SFTワークロードで、ZeRO-Offloadと比較して6〜12倍のトレーニング高速化を報告し、CPUメモリ使用量も削減。 - **構成**：BF16、FP8、INT8、LoRA、フルパラメータファインチューニングをサポート。 - **統合**：人気のLLaMA-Factoryフレームワークとのシームレスな統合。 ## モデルサポート KTransformersは、DeepSeek-V3/R1/V4-Flash、GLM-4/5/5.2/5.3-flash、Kimi-K2/K2.5/K2.6/Thinking、MiniMax-M2.1/M3、Qwen3-MoE/Next、Mixtral、LLaMA-4などを含む幅広いモデルに対してDay0サポートを提供します。また、INT4、INT8、FP8、ハイブリッドウェイトなど、さまざまな量子化形式もサポートしています。 ## クイックスタート 推論の場合： ```bash cd kt-kernel pip install . ``` ファインチューニングの場合： ```bash cd /path/to/LLaMA-Factory python -m pip install -e . python -m pip install "ktransformers[sft]==0.7.0" python -m pip install "sglang-kt==0.7.0" CUDA_VISIBLE_DEVICES=0,1,2,3 accelerate launch \ --config_file examples/ktransformers/accelerate/fsdp2_kt_int8.yaml \ src/train.py \ examples/ktransformers/train_lora/qwen3_5moe_lora_sft_kt.yaml ``` このプロジェクトは活発に開発されており、新しいモデルや機能をサポートする頻繁なアップデートがあり、詳細なドキュメントは英語と中国語で提供されています。