colossalai

Colossal-AI — это открытый проект от HPC-AI Tech, который предоставляет набор компонентов параллелизма для распределенного глубокого обучения, с целью сделать большие ИИ-модели дешевле, быстрее и доступнее. Он позволяет пользователям писать код распределенного обучения и инференса с минимальными изменениями, в основном через файлы конфигурации. Ключевые возможности, описанные в README, включают стратегии параллелизма, такие как параллелизм данных, пайплайн-параллелизм, 1D/2D/2.5D/3D тензорный параллелизм, последовательный параллелизм, ZeRO и автопараллелизм. Также включено гетерогенное управление памятью через PatrickStar. Проект подчеркивает реальные применения и примеры: Open-Sora для моделей генерации видео, Colossal-LLaMA-2 для обучения специализированных LLM, ColossalChat с полным пайплайном RLHF, ускорение обучения и инференса Stable Diffusion, а также FastFold для работы с альфаФолдом. Демонстрации параллельного обучения охватывают LLaMA 1/2/3, MoE, GPT-3, GPT-2, BERT, PaLM, OPT, ViT и рекомендательные модели, а также демонстрации на одном GPU и компоненты инференса, такие как Colossal-Inference, поддержка Grok-1 и SwiftInfer. Установка доступна через PyPI или из исходного кода, а использование Docker документировано. README также ссылается на документацию, примеры, форум и каналы сообщества. Обратите внимание, что README содержит рекламный контент для сервисов GPU HPC-AI Cloud и API моделей; это коммерческие предложения, а не часть самой открытой библиотеки.