منصوبے کے بارے میں

LeWorldModel (LeWM) مقالے "LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels" کے لیے سرکاری کوڈ بیس ہے، جس کے مصنفین Lucas Maes، Quentin Le Lidec، Damien Scieur، Yann LeCun اور Randall Balestriero ہیں۔ یہ ایک جوائنٹ-ایمبیڈنگ پیشن گوئی آرکیٹیکچر (JEPA) نافذ کرتا ہے جو خلاصے کے مطابق، صرف دو نقصان کی شرائط استعمال کرتے ہوئے خام پکسلز سے اینڈ-ٹو-اینڈ مستحکم طور پر تربیت پاتا ہے: ایک اگلی-ایمبیڈنگ پیشن گوئی کا نقصان اور ایک ریگولرائزر جو گاوسی-تقسیم شدہ پوشیدہ ایمبیڈنگز کو نافذ کرتا ہے۔ مصنفین کہتے ہیں کہ یہ صرف موجودہ اینڈ-ٹو-اینڈ متبادل کے مقابلے میں ٹیون ایبل نقصان کے ہائپرپیرامیٹرز کو چھ سے کم کر کے ایک کر دیتا ہے، اور یہ کہ ماڈل میں تقریباً 15M پیرامیٹرز ہیں جو چند گھنٹوں میں ایک GPU پر تربیت کے قابل ہیں۔ ریپوزٹری دو بیرونی منصوبوں پر مبنی ہے: ماحول کے انتظام، منصوبہ بندی اور تشخیص کے لیے stable-worldmodel، اور تربیت کے لیے stable-pretraining۔ بیان کردہ مقصد اس ریپوزٹری کو اس کے بنیادی حصے، ماڈل آرکیٹیکچر اور تربیتی مقصد تک کم کرنا ہے، جو jepa.py میں PyTorch ماڈیول کے طور پر نافذ ہے۔ انسٹالیشن Python 3.10 کے ساتھ uv استعمال کرتی ہے اور stable-worldmodel کو train اور env extras کے ساتھ انسٹال کرتی ہے۔ ڈیٹاسیٹس Hugging Face کے ذریعے HDF5 فارمیٹ میں تقسیم کیے جاتے ہیں اور tar --zstd کے ساتھ ڈیکمپریس کیے جاتے ہیں؛ نکالے گئے .h5 فائلیں $STABLEWM_HOME (ڈیفالٹ ~/.stable-wm/) کے تحت رکھی جاتی ہیں، جسے ماحولیاتی متغیر سے تبدیل کیا جا سکتا ہے۔ ڈیٹاسیٹ کے نام config/train/ کے تحت Hydra کنفیگ فائلوں میں .h5 ایکسٹینشن کے بغیر حوالہ دیے جاتے ہیں۔ تربیت config/train/lewm.yaml میں WandB entity اور project سیٹ کرنے کے بعد python train.py data=pusht کے ساتھ شروع کی جاتی ہے۔ چیک پوائنٹس مکمل ہونے پر $STABLEWM_HOME میں محفوظ کیے جاتے ہیں۔ تشخیص کی کنفیگز config/eval/ کے تحت ہیں، اور policy فیلڈ کو $STABLEWM_HOME کے نسبت چیک پوائنٹ کے راستے کی طرف اشارہ کرنا چاہیے بغیر _object.ckpt لاحقہ کے۔ پہلے سے تربیت یافتہ LeWM چیک پوائنٹس pusht، cube، tworooms اور reacher ماحول کے لیے Hugging Face Hub پر آئینہ کیے گئے ہیں، اسی مجموعے میں ڈیٹاسیٹس کے ساتھ۔ ایک وسیع تر بیس لائن چیک پوائنٹ سوٹ (PLDM، LeJEPA، IVL، IQL، GCBC، DINO-WM، DINO-WM-noprop) Google Drive کے ذریعے دستیاب ہے، جس میں ایک جدول ہے جو بتاتا ہے کہ کون سے طریقے کون سے ماحول کا احاطہ کرتے ہیں۔ چیک پوائنٹس دو شکلوں میں آتے ہیں: ایک _object.ckpt سیریلائزڈ Python آبجیکٹ جو eval.py اور stable_worldmodel API استعمال کرتا ہے، اور ایک _weight.ckpt صرف وزن والا اسٹیٹ ڈکٹ۔ لوڈنگ swm.policy.AutoCostModel کے ذریعے $STABLEWM_HOME کے نسبت رن نام کے ساتھ کی جاتی ہے؛ واپس کردہ ماڈیول eval موڈ میں ہوتا ہے اور .state_dict() ظاہر کرتا ہے۔ Hugging Face آئینوں کے لیے، README ایک تبدیلی اسکرپٹ فراہم کرتا ہے جو config.json اور weights.pt سے JEPA ماڈل کو دوبارہ بناتا ہے اور ایک آبجیکٹ چیک پوائنٹ محفوظ کرتا ہے۔ README مقالے، ایک پروجیکٹ ویب سائٹ اور Hugging Face مجموعے سے بھی لنک کرتا ہے، اور ای میل کے ذریعے مسائل اور تعاون کی دعوت دیتا ہے۔ یہ رپورٹ کرتا ہے کہ LeWM فاؤنڈیشن-ماڈل پر مبنی ورلڈ ماڈلز سے 48x تیز منصوبہ بندی کرتا ہے جبکہ متنوع 2D اور 3D کنٹرول کاموں میں مسابقتی رہتا ہے، کہ اس کی پوشیدہ جگہ جسمانی ڈھانچے کو انکوڈ کرتی ہے جیسا کہ جسمانی مقداروں کی جانچ سے ظاہر ہوتا ہے، اور یہ کہ حیرت کی تشخیص جسمانی طور پر ناممکن واقعات کا پتہ لگاتی ہے۔ یہ مصنفین کے خلاصے کے دعوے ہیں، یہاں آزادانہ طور پر تصدیق شدہ نہیں۔