منصوبے کے بارے میں

LTX-2 ایک اوپن سورس پائتھن پیکج ہے جسے Lightricks نے تیار کیا ہے، جو LTX-2 آڈیو-ویڈیو جنریٹو ماڈل کے لیے انفرنس اور فائن ٹیوننگ (LoRA، IC-LoRA) کے لیے استعمال ہوتا ہے۔ یہ ایک مونو ریپو کے طور پر منظم ہے جس میں تین اہم پیکجز شامل ہیں: ltx-core (بنیادی ماڈل نفاذ اور انفرنس اسٹیک)، ltx-pipelines (مختلف جنریشن کاموں کے لیے اعلیٰ سطحی پائپ لائنز)، اور ltx-trainer (ٹریننگ اور فائن ٹیوننگ ٹولز)۔ ریپوزٹری کا مرکزی حصہ LTX-2.5 ماڈل ہے، جو Diffusion Transformer (DiT) پر مبنی فاؤنڈیشن ماڈل ہے جو ہم آہنگ آڈیو اور ویڈیو بنانے کی صلاحیت رکھتا ہے۔ پیکج متعدد جنریشن موڈز کو سپورٹ کرتا ہے، جس میں تیز پروٹو ٹائپنگ سے لے کر پروڈکشن کوالٹی آؤٹ پٹ تک شامل ہیں۔ اہم خصوصیات اور صلاحیتیں شامل ہیں: - متعدد انفرنس پائپ لائنز: اس میں DistilledPipeline شامل ہے جو تیز ٹیکسٹ/امیج سے ویڈیو جنریشن کے لیے ہے (صرف 8 مراحل میں)، DFRPipeline (Diffusion Fidelity Rendering) جو تفصیلی IC-LoRA کے ساتھ پروڈکشن کوالٹی نتائج کے لیے ہے، اور ویڈیو سے ویڈیو تبدیلی، کی فریم انٹرپولیشن، آڈیو سے ویڈیو جنریشن، ویڈیو ری ٹیکنگ، HDR آؤٹ پٹ، اور ڈبنگ (DubIt) کے لیے خصوصی پائپ لائنز۔ - ماڈل اجزاء: Hugging Face سے ماڈل وزن کے ماڈیولر ڈاؤن لوڈ کو سپورٹ کرتا ہے، بشمول 22B ڈسٹلڈ یا ڈیو ٹرانسفارمر، Gemma 4 12B ٹیکسٹ انکوڈر، ویڈیو اور آڈیو VAE، اسپیشل اور ٹیمپورل اپ اسکیلرز، اور LoRA اڈاپٹر۔ - اصلاح اور ہارڈویئر سپورٹ: VRAM استعمال کم کرنے کے لیے FP8 کوانٹائزیشن، Hopper اور Blackwell GPUs پر FlashAttention 3/4 سپورٹ، اور Linux+CUDA پر تیز نیبرہڈ اٹینشن ڈی کوڈنگ کے لیے natten ایکسٹرا پیش کرتا ہے۔ - پرامپٹنگ اور کنٹرولز: تفصیلی، وقتی ترتیب والے پرامپٹس کی حوصلہ افزائی کرتا ہے جو اعمال، کیمرہ زاویے، اور ماحول کی تفصیلات بیان کریں۔ خودکار پرامپٹ بہتری، دورانیے کی پیش گوئی، اور EXR/HDR ورک فلو کو سپورٹ کرتا ہے۔ ریپوزٹری جامع CLI کمانڈز اور Python API رسائی فراہم کرتی ہے، جو ڈویلپرز، محققین، اور تخلیق کاروں کے لیے ایک ورسٹائل ٹول کٹ بناتی ہے جو حسب ضرورت آڈیو-ویڈیو جنریشن ایپلیکیشنز بنانا چاہتے ہیں۔