منصوبے کے بارے میں

کولووسل AI ایچ پی سی-AI ٹیک کا ایک اوپن سورس پروجیکٹ ہے جو ڈسٹری بیوٹڈ ڈیپ لیمننگ کے لیے متوازی اجزاء کا مجموعہ فراہم کرتا ہے، جس کا مقصد بڑے AI ماڈلز کو سستا، تیز اور زیادہ قابل رسائی بنانا ہے۔ یہ صارفین کو کم سے کم تبدیلیوں کے ساتھ ڈسٹری بیوٹڈ تربیتی اور انفرنس کوڈ لکھنے کی اجازت دیتا ہے، جس میں زیادہ تر ترتیبی فائلوں پر چلتا ہے۔ README میں بیان کردہ اہم قابلیت میں ڈیٹا پیئیرلزم، پائپ لائن پیئیرلزم، 1D/2D/2.5D/3D ٹینسر پیئیرلزم، سیکوئنس پیئیرلزم، زیرو، اور آٹو-پیئیرلزم جیسی پیئریلزم حکمت عملیاں شامل ہیں۔ اس میں پٹریک اسٹار کے ذریعے ہیٹرو جینیؤس میموری مینجمنٹ بھی شامل ہے۔ پروجیکٹ حقیقی دنیا کی درخواستیں اور مثالیں ابھارتا ہے: ویڈیو جنریشن ماڈلز کے لیے اوپن سورا، ڈومین خاص LLM تربیت کے لیے کولووسل LLaMA-2، مکمل RLHF پائپ لائن کے ساتھ کولووسل چیٹ، اسٹیبل ڈفیوژن کی تربیت اور انفرنس میں تیزی، اور AlphaFold پروٹین ساخت کے کام کے لیے فاسٹ فولڈ۔ پیئریل تربیتی ڈیموز میں LLaMA 1/2/3، MoE، GPT-3، GPT-2، BERT، PaLM، OPT، ViT، اور ری کمینڈیشن ماڈلز شامل ہیں، ساتھ ہی سنگل GPU ڈیموز اور انفرنس اجزاء جیسے کولووسل انفرنس، Grok-1 سپورٹ، اور سنفٹ انفر بھی شامل ہیں۔ انسٹالیشن PyPI یا سورس سے دستیاب ہے، اور Docker استعمال کے بارے میں دستاویزات موجود ہیں۔ README میں دستاویزات، مثالیں، فورم، اور کمیونٹی چینلز کے لنکس بھی ہیں۔ نوٹ کریں کہ README میں ایچ پی سی-AI کلاؤڈ GPU اور ماڈل API سروسز کے لیے فروغاتی مواد موجود ہے؛ یہ تجارتی پیشکشیں ہیں، اوپن سورس لائبریری کا حصہ نہیں ہیں۔