عن المشروع

كولوسال-أي هو مشروع مفتوح المصدر من HPC-AI Tech يوفر مجموعة من المكونات المتوازية للتعلم العميق الموزع، بهدف جعل نماذج الذكاء الاصطناعي الكبيرة أرخص، وأسرع، وأكثر إمكانية للوصول. يتيح للمستخدمين كتابة كود التدريب والاستدلال الموزع بأقل تغييرات، ويعتمد إلى حد كبير على ملفات التكوين. القدرات الرئيسية الموصوفة في ملف README تشمل استراتيجيات التوازي مثل التوازي البيانات، والتوازي الأنبوبي، والتوازي التوافقي 1D/2D/2.5D/3D، والتوازي التسلسلي، وZeRO، والتوازي التلقائي. كما يتضمن إدارة ذاكرةheterogeneous عبر PatrickStar. يبرز المشروع تطبيقات وأمثلة من العالم الحقيقي: Open-Sora لنماذج توليد الفيديو، وColossal-LLaMA-2 لتدريب نماذج لغوية خاصة بالمجال، وColossalChat مع خط أنابيب RLHF كامل، وتسريع تدريب واستدلال Stable Diffusion، وFastFold لعمل بنية البروتين AlphaFold. عروض التدريب المتوازي تغطي LLaMA 1/2/3، وMoE، وGPT-3، وGPT-2، وBERT، وPaLM، وOPT، وViT، ونماذج التوصية، بالإضافة إلى عروض GPU单独 ومكونات الاستدلال مثل Colossal-Inference، ودعم Grok-1، وSwiftInfer. التثبيت متاح عبر PyPI أو من المصدر، وتوثيق استخدام Docker متوفر. يحتوي ملف README أيضًا على روابط للوثائق، والأمثلة، والمنتدى، وقنوات المجتمع. لاحظ أن ملف README يحتوي على محتوى ترويجي لخدمات GPU ونماذج API الخاصة بـ HPC-AI Cloud؛ تلك هي عروض تجارية وليست جزءًا من المكتبة المفتوحة المصدر نفسها.