colossalai

Colossal-AI est un projet open-source développé par HPC-AI Tech qui propose une collection de composants parallelisés pour le deep learning distribué, visant à rendre les grands modèles d'IA moins coûteux, plus rapides et plus accessibles. Il permet aux utilisateurs d'écrire du code d'entraînement et d'inférence distribués avec des modifications minimales, principalement grâce à des fichiers de configuration. Les capacités clés décrites dans le README incluent des stratégies de parallelisme telles que la parallelisme de données, la parallelisme de pipeline, la parallelisme tensoriel 1D/2D/2.5D/3D, la parallelisme de séquence, ZeRO et le parallelisme automatique. Il inclut également une gestion hétérogène de la mémoire via PatrickStar. Le projet met en avant des applications et exemples concrets : Open-Sora pour les modèles de génération vidéo, Colossal-LLaMA-2 pour l'entraînement de LLMs spécialisés par domaine, ColossalChat avec un pipeline complet de RLHF, l'accélération de l'entraînement et de l'inférence de Stable Diffusion, et FastFold pour les travaux de structure protéique AlphaFold. Les démos d'entraînement parallelisé couvrent LLaMA 1/2/3, MoE, GPT-3, GPT-2, BERT, PaLM, OPT, ViT et les modèles de recommandation, ainsi que des démos sur GPU unique et des composants d'inférence tels que Colossal-Inference, le support Grok-1 et SwiftInfer. L'installation est disponible via PyPI ou depuis les sources, et l'utilisation de Docker est documentée. Le README contient également des liens vers la documentation, des exemples, un forum et des canaux communautaires. Notez que le README comporte du contenu promotionnel pour les services cloud GPU et API de modèles HPC-AI ; il s'agit d'offres commerciales distinctes de la bibliothèque open-source elle-même.