automodel

NeMo AutoModel est une bibliothèque d'entraînement open source du framework NVIDIA NeMo, décrite comme une bibliothèque SPMD native PyTorch DTensor pour l'entraînement à grande échelle. Elle cible l'entraînement et le fine-tuning de grands modèles de langage, de modèles vision-langage, de modèles de diffusion et de modèles de recherche, visant à prendre en charge aussi bien les petites expériences que les déploiements multi-GPU et multi-nœuds. Caractéristiques clés attestées par le README : - Prise en charge prête à l'emploi de Hugging Face, avec des recettes pour de nombreuses familles de modèles et points de contrôle. - Parallélisme natif PyTorch, incluant le parallélisme tensoriel, pipeline, expert, de contexte et de données, ainsi que l'entraînement sur séquences compactées. - Méthodes de fine-tuning telles que le SFT à paramètres complets et LoRA/PEFT, avec des exemples de recettes YAML pour les charges de travail LLM et VLM. - Prise en charge des modèles Mixture-of-Experts, des architectures d'attention hybrides et de l'entraînement de drafters pour le décodage spéculatif (variantes EAGLE, DFlash, DSpark). - Exemples de fine-tuning pour la diffusion et le texte-vers-image, ainsi qu'une couverture des modèles de recherche. - Documentation, pages de couverture des modèles, résumés de performance, tutoriels et compétences orientées agents dans le dépôt. Le projet est écrit en Python (3.10+) et est destiné aux chercheurs et ingénieurs qui ont besoin de flux de travail d'entraînement reproductibles et évolutifs. Le README met l'accent sur les recettes, les guides et les exemples plutôt que sur des affirmations de performance comparative.