منصوبے کے بارے میں

LingBot-Map ایک فیڈ فارورڈ 3D فاؤنڈیشن ماڈل ہے جو ویڈیو یا تصویری سیکوئنسز سے سٹریمنگ 3D تعمیر نو کے لیے ڈیزائن کیا گیا ہے۔ یہ ایک جیومیٹرک کانٹیکسٹ ٹرانسفارمر متعارف کراتا ہے جو اینکر کانٹیکسٹ، پوز ریفرنس ونڈوز، اور ٹریجیکٹری میموری کا استعمال کرتے ہوئے ایک ہی سٹریمنگ فریم ورک میں کوآرڈینیٹ گراؤنڈنگ، گھنے جیومیٹرک کیوز، اور طویل فاصلے کی ڈرفٹ کریکشن کو یکجا کرتا ہے۔ یہ آرکیٹیکچر 518x378 ریزولوشن پر تقریباً 20 FPS پر 10,000 فریموں سے زیادہ کی سیکوئنسز پر اعلیٰ کارکردگی والی انفرنس کو قابل بناتا ہے، جس میں پیجڈ KV کیچ اٹینشن (FlashInfer تجویز کردہ، SDPA فال بیک کے ساتھ) کا استعمال کیا گیا ہے۔ ریپوزٹری دو اہم ورک فلو فراہم کرتی ہے: ایک انٹرایکٹو ڈیمو (`demo.py`) جو براؤزر پر مبنی viser ویور کے ساتھ ریئل ٹائم ویژولائزیشن کے لیے ہے، اور ایک آف لائن رینڈرنگ پائپ لائن (`demo_render/batch_demo.py`) جو لمبی ویڈیوز سے ہیڈ لیس پوائنٹ کلاؤڈ فلائی تھرو MP4s تیار کرنے کے لیے ہے۔ دونوں ONNX سیگمنٹیشن ماڈلز کے ذریعے اسکائی ماسکنگ، KV کیچ میموری کو منظم کرنے کے لیے کی فریم انٹرول حکمت عملی، اور تقریباً 320 فریموں کی تربیتی رینج سے باہر کی سیکوئنسز کے لیے ونڈوڈ انفرنس کی معاونت کرتے ہیں۔ پہلے سے تربیت یافتہ چیک پوائنٹس HuggingFace اور ModelScope پر دستیاب ہیں، جن میں KITTI اور Oxford Spires جیسے ڈیٹا سیٹس کے لیے تشخیصی بینچ مارکس شامل ہیں۔ انسٹالیشن کے لیے Python 3.10، PyTorch 2.8.0 CUDA 12.8 کے ساتھ، اور رینڈرنگ (Open3D، Kaolin، ffmpeg) اور ویژولائزیشن کے لیے اختیاری ڈیپنڈنسیز درکار ہیں۔ یہ پروجیکٹ Apache-2.0 لائسنس کے تحت ہے اور اس میں تفصیلی دستاویزات، کام کی گئی مثالیں (انڈور واک تھرو، آؤٹ ڈور ڈرائیو، تیار کردہ مناظر)، اور محدود GPU میموری کے لیے کارکردگی کو بہتر بنانے کے اختیارات شامل ہیں۔