Sobre el proyecto

Megatron-LM es un ejemplo de referencia que combina Megatron Core con scripts de entrenamiento preconfigurados, dirigido a equipos de investigación, aprendizaje de entrenamiento distribuido y experimentación rápida. Megatron Core es una biblioteca componible de bloques de construcción optimizados para GPU destinados a marcos de entrenamiento personalizados, que ofrece componentes transformer, estrategias avanzadas de paralelismo (paralelismo de tensor, tubería, datos, expertos y contexto), soporte de precisión mixta (FP16, BF16, FP8 y FP4) y arquitecturas de modelos. El repositorio también incluye motores de inferencia, utilidades de exportación de modelos, herramientas de post-entrenamiento como cuantización y destilación, y soporte de aprendizaje por refuerzo incluyendo RLHF. Megatron Bridge proporciona conversión bidireccional de puntos de control entre los formatos Hugging Face y Megatron. El proyecto reporta el entrenamiento de modelos de 2B a 462B parámetros en miles de GPUs, con hasta un 47% de utilización de FLOPs del modelo en clústeres H100. La instalación está disponible a través de PyPI o desde el código fuente, y la documentación cubre las primeras ejecuciones de entrenamiento, estrategias de paralelismo y pautas de contribución.