megatron-lm

Megatron-LM은 Megatron Core를 사전 구성된 훈련 스크립트와 함께 묶은 참조 예제로, 연구팀, 분산 훈련 학습, 빠른 실험을 대상으로 합니다. Megatron Core는 커스텀 훈련 프레임워크를 위한 GPU 최적화 빌딩 블록의 조합 가능한 라이브러리로, 트랜스포머 구성 요소, 고급 병렬화 전략(텐서, 파이프라인, 데이터, 전문가, 컨텍스트 병렬화), 혼합 정밀도 지원(FP16, BF16, FP8, FP4), 모델 아키텍처를 제공합니다. 저장소에는 추론 엔진, 모델 내보내기 유틸리티, 양자화 및 증류와 같은 사후 훈련 도구, RLHF를 포함한 강화 학습 지원도 포함되어 있습니다. Megatron Bridge는 Hugging Face와 Megatron 형식 간의 양방향 체크포인트 변환을 제공합니다. 이 프로젝트는 수천 개의 GPU에서 2B에서 462B 파라미터까지의 모델을 훈련했다고 보고하며, H100 클러스터에서 최대 47%의 Model FLOP Utilization을 달성했습니다. PyPI 또는 소스에서 설치할 수 있으며, 문서에는 첫 훈련 실행, 병렬화 전략, 기여 지침이 포함되어 있습니다.