automodel

NeMo AutoModel은 NVIDIA NeMo Framework 산하의 오픈소스 학습 라이브러리로, 대규모 학습을 위한 PyTorch DTensor 네이티브 SPMD 라이브러리라고 설명됩니다. 대규모 언어 모델, 비전-언어 모델, 확산 모델 및 검색 모델의 학습과 미세 조정을 대상으로 하며, 소규모 실험과 다중 GPU, 다중 노드 배포를 모두 지원하는 것을 목표로 합니다. README에서 확인되는 주요 특징: - 바로 사용 가능한 Hugging Face 지원과 다양한 모델 계열 및 체크포인트를 위한 레시피. - 텐서, 파이프라인, 전문가, 컨텍스트 및 데이터 병렬 처리를 포함한 PyTorch 네이티브 병렬 처리와 패킹된 시퀀스 학습. - 전체 파라미터 SFT 및 LoRA/PEFT와 같은 미세 조정 방법과 LLM 및 VLM 워크로드를 위한 예시 YAML 레시피. - Mixture-of-Experts 모델, 하이브리드 어텐션 백본, 추측 디코딩 드래프터 학습(EAGLE 변형, DFlash, DSpark) 지원. - 확산 및 텍스트-이미지 미세 조정 예시와 검색 모델 지원. - 저장소 내 문서, 모델 지원 페이지, 성능 요약, 튜토리얼 및 에이전트 지향 스킬. 이 프로젝트는 Python(3.10+)으로 작성되었으며, 재현 가능하고 확장 가능한 학습 워크플로가 필요한 연구자와 엔지니어를 대상으로 합니다. README는 벤치마크 주장보다는 레시피, 가이드 및 예시를 강조합니다.