このプロジェクトについて

DeepSpeedは、数千億のパラメータを持つモデルを含む、大規模なディープラーニングモデルのトレーニングを可能にするシステム最適化ライブラリです。ZeRO (Zero Redundancy Optimizer)、ZeRO-Infinity、3D-Parallelism、Ulysses Sequence Parallelism、DeepSpeed-MoEなどの一連のイノベーションを提供し、メモリと計算のボトルネックを克服します。 このライブラリは、Hugging Face Transformers、Accelerate、PyTorch Lightning、MosaicML、Determined、MMEngineを含む、いくつかの人気のあるオープンソースフレームワークと統合されています。また、NVIDIA GPU (PascalからHopperまで)、AMD GPU (MI100, MI200)、Intel Gaudi、Intel Xeon CPU、Intel Data Center GPU Maxシリーズ、Huawei Ascend NPUなど、幅広いハードウェアアクセラレータをサポートしています。 主な機能は以下の通りです： - ZeROによる兆単位のパラメータを持つモデル向けのメモリ最適化。 - Transformerベースのモデル向けの効果的な分散トレーニングおよび推論。 - 長いシーケンスのトレーニングおよびmixture-of-experts (MoE) のサポート。 - CPUおよびNVMeメモリを活用するための高度なオフロードエンジン (例：ZenFlow, SuperOffload)。