منصوبے کے بارے میں

LightZero OpenDILab کی ایک اوپن سورس الگورتھم ٹول کٹ ہے جو مونٹی کارلو ٹری سرچ (MCTS) کو ڈیپ رینفورسمنٹ لرننگ کے ساتھ ایک ہی PyTorch پر مبنی فریم ورک میں یکجا کرتی ہے۔ اسے NeurIPS 2023 Datasets and Benchmarks Track میں اسپاٹ لائٹ پیپر کے طور پر پیش کیا گیا تھا اور اسے عمومی ترتیب وار فیصلہ سازی کے منظرناموں میں MCTS کے لیے ایک متحد بینچ مارک کے طور پر پیش کیا گیا ہے۔ یہ منصوبہ تین خصوصیات پر زور دیتا ہے: ہلکا پھلکا، موثر اور سمجھنے میں آسان ہونا۔ یہ متعدد MCTS الگورتھم خاندانوں کو مربوط کرتا ہے تاکہ مختلف خصوصیات والے فیصلہ سازی کے مسائل کو ایک ہی فریم ورک کے اندر سنبھالا جا سکے۔ کمپیوٹیشنل کارکردگی کے لیے، یہ MCTS کے سب سے زیادہ وقت طلب حصوں کے لیے مخلوط ہیٹروجینیئس کمپیوٹنگ استعمال کرتا ہے، جس میں ٹری کے نفاذ Python (ptree) اور C++ (ctree) دونوں میں موجود ہیں۔ دستاویزات میں الگورتھم فریم ورک ڈایاگرام، فنکشن کال گراف اور نیٹ ورک اسٹرکچر ڈایاگرام شامل ہیں تاکہ صارفین اہم کوڈ تلاش کر سکیں اور مشترکہ پیراڈائم کے تحت الگورتھم کا موازنہ کر سکیں۔ نافذ کردہ الگورتھم میں AlphaZero، MuZero، Sampled MuZero، Stochastic MuZero، EfficientZero، Sampled EfficientZero، Gumbel MuZero، ReZero اور UniZero شامل ہیں۔ معاون ماحول میں بورڈ گیمز (TicTacToe، Gomoku، Connect4)، 2048، کلاسک کنٹرول ٹاسک (CartPole، Pendulum، LunarLander، BipedalWalker)، Atari، DeepMind Control، MuJoCo، MiniGrid، Bsuite، Memory، SumToThree اور MetaDrive شامل ہیں۔ README میں ایک مطابقت کی جدول یہ نشان زد کرتی ہے کہ کون سے الگورتھم-ماحول کے امتزاج مکمل اور آزمائے گئے ہیں، کون سے زیر تکمیل ہیں اور کون سے غیر معاون ہیں۔ فریم ورک تین بنیادی ماڈیولز کے گرد منظم ہے: Model (نیٹ ورک اسٹرکچر اور فارورڈ پروپیگیشن)، Policy (سیکھنے، جمع کرنے اور جانچ کے عمل) اور MCTS (سرچ ٹری اسٹرکچر اور پالیسی کے ساتھ اس کا تعامل)۔ انسٹالیشن ریپوزٹری کو کلون کرکے اور pip install -e . چلا کر کی جاتی ہے، جس میں فی الحال صرف Linux اور macOS کی معاونت ہے؛ Ubuntu 20.04 پر مبنی Python 3.8 کے ساتھ ایک Dockerfile بھی فراہم کی گئی ہے۔ فوری آغاز کی مثالیں CartPole، Pong اور TicTacToe پر MuZero اور Pong پر UniZero کی تربیت دیتی ہیں۔ Atari کے لیے ایک تجرباتی Ray پر مبنی async سیگمنٹ ٹریننگ پائپ لائن دستاویز کی گئی ہے، جس میں README ایک ہم وقت ساز بیس لائن کے مقابلے میں اسی ونڈو کا موازنہ رپورٹ کرتا ہے۔ بورڈ گیمز پر AlphaZero اور MuZero کے لیے، Pong، Qbert اور MsPacman جیسے Atari ٹائٹلز پر MuZero ویریئنٹس کے لیے، مسلسل کنٹرول ٹاسک پر فیکٹرڈ اور گاوسی پالیسی نمائندگی کے ساتھ Sampled EfficientZero کے لیے، مختلف سمولیشن بجٹ کے تحت Gumbel MuZero کے لیے اور مختلف چانس لیولز کے ساتھ 2048 پر Stochastic MuZero کے لیے بینچ مارکس شائع کیے گئے ہیں۔ ریپوزٹری میں ایک Awesome-MCTS سیکشن بھی برقرار رکھا گیا ہے جو AlphaGo، MuZero، MCTS تجزیہ اور اطلاقات پر بنیادی اور حالیہ مقالے جمع کرتا ہے، نیز ماحول اور الگورتھم کو حسب ضرورت بنانے، کنفیگریشن فائلوں، لاگنگ اور لاس لینڈ اسکیپ ویژولائزیشن پر ٹیوٹوریلز بھی شامل ہیں۔