colossalai

Colossal-AI é um projeto de código aberto da HPC-AI Tech que fornece uma coleção de componentes paralelos para aprendizado profundo distribuído, visando tornar grandes modelos de IA mais baratos, mais rápidos e mais acessíveis. Ele permite aos usuários escrever código de treinamento e inferência distribuídos com mudanças mínimas, principalmente por meio de arquivos de configuração. As principais capacidades descritas no README incluem estratégias de paralelismo, como paralelismo de dados, paralelismo de pipeline, paralelismo de tensor 1D/2D/2.5D/3D, paralelismo de sequência, ZeRO e paralelismo automático. Também inclui gerenciamento de memória heterogênea por meio do PatrickStar. O projeto destaca aplicações e exemplos do mundo real: Open-Sora para modelos de geração de vídeo, Colossal-LLaMA-2 para treinamento de LLMs específicos de domínio, ColossalChat com pipeline completo de RLHF, aceleração do treinamento e inferência do Stable Diffusion e FastFold para trabalho com estrutura de proteínas do AlphaFold. Demos de treinamento paralelo abrangem LLaMA 1/2/3, MoE, GPT-3, GPT-2, BERT, PaLM, OPT, ViT e modelos de recomendação, além de demos em GPU única e componentes de inferência como Colossal-Inference, suporte a Grok-1 e SwiftInfer. A instalação está disponível via PyPI ou a partir do código-fonte, e o uso do Docker é documentado. O README também vincula documentação, exemplos, fórum e canais comunitários. Observação: o README contém conteúdo promocional para serviços HPC-AI Cloud GPU e API de modelo; esses são oferecimentos comerciais, não parte da própria biblioteca de código aberto.