colossalai

Colossal-AIはHPC-AI Techによるオープンソースプロジェクトで、分散ディープラーニングのための並列コンポーネントコレクションを提供し、大規模AIモデルをより安価で高速、アクセスしやすいものを目指す。ユーザーは設定ファイルを中心に、最小限の変更で分散トレーニングおよび推論コードを記述できる。 READMEで説明されている主な機能には、データ並列化、パイプライン並列化、1D/2D/2.5D/3Dテンソル並列化、シーケンス並列化、ZeRO、自動並列化などの並列化戦略が含まれる。またPatrickStarによるヘテロジニアスメモリ管理も備える。 プロジェクトは現実世界での応用例とデモを紹介している：動画生成モデルのOpen-Sora、ドメイン特化型LLMトレーニングのColossal-LLaMA-2、完全なRLHFパイプラインを持つColossalChat、Stable Diffusionのトレーニングおよび推論の加速、AlphaFoldタンパク質構造作業のFastFoldなど。並列トレーニングデモにはLLaMA 1/2/3、MoE、GPT-3、GPT-2、BERT、PaLM、OPT、ViT、推薦モデルが含まれ、シングルGPUデモやColossal-Inference、Grok-1サポート、SwiftInferなどの推論コンポーネントも提供される。 インストールはPyPIまたはソースから可能で、Dockerの使用法も文書化されている。READMEにはドキュメント、例、フォーラム、コミュニティチャンネルへのリンクも掲載されている。READMEにはHPC-AI Cloud GPUおよびモデルAPIサービスの宣伝コンテンツが含まれている点に注意。これらはオープンソースライブラリではなく商業サービスである。