colossalai

Colossal-AI 是 HPC-AI Tech 推出的开源项目，旨在通过并行组件降低大模型训练和推理的成本，提升效率与可及性。用户只需少量代码修改，主要依赖配置文件即可编写分布式训练和推理代码。 核心并行策略包括：数据并行、流水线并行、1D/2D/2.5D/3D 张量并行、序列并行、ZeRO 以及自动并行。内存管理通过 PatrickStar 实现异构内存优化。 应用场景涵盖：Open-Sora 视频生成模型、Colossal-LLaMA-2 领域特定大模型训练、ColossalChat 完整 RLHF 管道、Stable Diffusion 训练与推理加速、FastFold AlphaFold 蛋白质结构预测。 支持的模型包括 LLaMA 1/2/3、MoE、GPT-3、GPT-2、BERT、PaLM、OPT、ViT 及推荐模型，另有单 GPU 演示及推理组件如 Colossal-Inference、Grok-1 支持、SwiftInfer。 安装可通过 PyPI、源码或 Docker 完成，README 还链接至文档、示例、论坛和社区渠道。注意：README 包含 HPC-AI Cloud GPU 和模型 API 服务的推广内容，这些属商业产品而非开源库本身。