DeepSpeed

DeepSpeed는 수천억 개의 파라미터를 가진 모델을 포함하여 거대한 딥러닝 모델의 학습을 가능하게 하는 시스템 최적화 라이브러리입니다. 이 라이브러리는 ZeRO (Zero Redundancy Optimizer), ZeRO-Infinity, 3D-Parallelism, Ulysses Sequence Parallelism, DeepSpeed-MoE와 같은 일련의 혁신 기술을 제공하여 메모리 및 연산 병목 현상을 해결합니다. 이 라이브러리는 Hugging Face Transformers, Accelerate, PyTorch Lightning, MosaicML, Determined, MMEngine 등 여러 인기 오픈 소스 프레임워크와 통합되어 있습니다. 또한 NVIDIA GPU (Pascal부터 Hopper까지), AMD GPU (MI100, MI200), Intel Gaudi, Intel Xeon CPU, Intel Data Center GPU Max 시리즈, Huawei Ascend NPU 등 광범위한 하드웨어 가속기를 지원합니다. 주요 기능은 다음과 같습니다: - ZeRO를 통한 조 단위 파라미터 모델의 메모리 최적화. - Transformer 기반 모델을 위한 효율적인 분산 학습 및 추론. - 긴 시퀀스 학습 및 mixture-of-experts (MoE) 지원. - CPU 및 NVMe 메모리를 활용하기 위한 고급 오프로딩 엔진 (예: ZenFlow, SuperOffload).