منصوبے کے بارے میں

LingBot-World ایک اوپن سورس ورلڈ سمیولیٹر اور ویڈیو جنریشن فریم ورک ہے جو Wan2.2 آرکیٹیکچر پر بنایا گیا ہے۔ یہ اوپن سورس ورلڈ ماڈلز کو آگے بڑھانے کے لیے ڈیزائن کیا گیا ہے، جس میں اعلیٰ معیار کی سمیولیشن، متنوع بصری اسٹائلز (جیسے حقیقت پسندی، سائنسی سیاق و سباق، اور کارٹونز) میں مضبوط ڈائنامکس، اور منٹ کی سطح کے افق پر طویل مدتی میموری مستقل مزاجی شامل ہے۔ ماڈل ریئل ٹائم انٹرایکٹیویٹی کو سپورٹ کرتا ہے، جو 16 فریم فی سیکنڈ پر کم لیٹنسی (1 سیکنڈ سے کم) حاصل کرتا ہے۔ کلیدی خصوصیات: - **اعلیٰ معیار اور متنوع ماحول**: مختلف بصری ڈومینز میں پیچیدہ ماحول کی سمیولیشن کی صلاحیت۔ - **طویل مدتی میموری اور مستقل مزاجی**: طویل ویڈیو افق پر سیاق و سباق کی مستقل مزاجی برقرار رکھتا ہے۔ - **ریئل ٹائم انٹرایکٹیویٹی**: کم لیٹنسی کے ساتھ انٹرایکٹو کنٹرولز کو سپورٹ کرتا ہے، جو گیمنگ، مواد تخلیق، اور روبوٹ لرننگ کے لیے موزوں ہے۔ - **لچکدار کنٹرول سگنلز**: کیمرہ پوز، ایکشن سیکوینسز، یا صارف دوست ایکشن اسٹرنگز (جیسے حرکت اور کیمرہ سمت کمانڈز) کے ذریعے رہنمائی کی جا سکتی ہے، یا بغیر کسی شرط کے چلایا جا سکتا ہے۔ ماڈلز اور ٹولز: - **LingBot-World-Base (Cam)**: کیمرہ پوز کنٹرولڈ ماڈل، 480P اور 720P ریزولوشنز میں دستیاب۔ - **LingBot-World-Base (Act)**: ایکشن کنٹرولڈ ماڈل جو ٹیکسٹ پر مبنی ایکشن اسٹرنگز کو سپورٹ کرتا ہے۔ - **LingBot-World-Fast**: ایک تیز رفتار ورژن جو کازل انفرنس اور KV کیشنگ استعمال کرتا ہے، اور فریموں کی موثر، حصہ بہ حصہ جنریشن کے لیے ہے۔ - **کوانٹائزڈ ماڈل**: محدود GPU میموری والے صارفین کے لیے 4-بٹ کوانٹائزڈ ورژن دستیاب ہے، لیکن یہ صرف انفرنس کے لیے ہے اور اس میں معمولی بصری کمی ہو سکتی ہے۔ تکنیکی تقاضے اور استعمال: پروجیکٹ کو PyTorch (>= 2.4.0) اور فلاش اٹینشن کی ضرورت ہے۔ انفرنس اسکرپٹس `torchrun` کے ذریعے ملٹی-GPU ایگزیکیوشن کو سپورٹ کرتی ہیں۔ ماڈل وزن HuggingFace یا ModelScope سے ڈاؤن لوڈ کیے جا سکتے ہیں۔ ریپوزٹری میں مختلف کنفیگریشن آپشنز کے ساتھ امیج-ٹو-ویڈیو جنریشن کے لیے مثال اسکرپٹس فراہم کی گئی ہیں۔ نوٹ: یہ ریپوزٹری اب فعال طور پر برقرار نہیں رکھی گئی ہے۔ مصنفین نے ترقی کو نئی ریپوزٹری، LingBot-World-Infinity (v2) میں منتقل کر دیا ہے۔