عن المشروع

حزمة LTX-2 هي حزمة Python مفتوحة المصدر طورتها Lightricks للاستدلال وضبط دقيق لنموذج توليد الصوت والفيديو LTX-2، بما في ذلك تقنيات LoRA و IC-LoRA. وهي منظمة كمستودع أحادي يحتوي على ثلاث حزم رئيسية: ltx-core (تنفيذ النموذج الأساسي وطبقة الاستدلال)، وltx-pipelines (خطوط أنابيب عالية المستوى لمهام توليد متنوعة)، وltx-trainer (أدوات التدريب والضبط الدقيق). محور المستودع هو نموذج LTX-2.5، وهو نموذج أساسي يعتمد على محول الانتشار (Diffusion Transformer - DiT) وقادر على توليد صوت وفيديو متزامنين. تدعم الحزمة أوضاع توليد متعددة، بدءًا من النماذج الأولية السريعة وصولًا إلى مخرجات بجودة إنتاجية. تشمل الميزات والإمكانات الرئيسية: - خطوط أنابيب استدلال متعددة: تتضمن DistilledPipeline لتوليد سريع من نص/صورة إلى فيديو (بخطوات قليلة تصل إلى 8 خطوات)، وDFRPipeline (عرض دقة الانتشار) لنتائج بجودة إنتاجية مع تفاصيل دقيقة باستخدام IC-LoRA، وخطوط أنابيب متخصصة لتحويل فيديو إلى فيديو، واستيفاء الإطارات الرئيسية، وتوليد فيديو من الصوت، وإعادة تصوير الفيديو، ومخرجات HDR، والدبلجة (DubIt). - مكونات النموذج: تدعم تنزيلًا معياريًا لأوزان النموذج من Hugging Face، بما في ذلك المحول المقطر أو المطور بحجم 22B، ومشفّر النص Gemma 4 12B، وVAE للفيديو والصوت، ومكبرات الدقة المكانية والزمنية، ومحولات LoRA. - التحسين ودعم العتاد: توفر تكميم FP8 لتقليل استخدام ذاكرة VRAM، ودعم FlashAttention 3/4 على معالجات GPU من نوع Hopper وBlackwell، وإضافة natten لفك تشفير الانتشار الجوار السريع على أنظمة Linux مع CUDA. - التوجيه والتحكم: تشجع على استخدام توجيهات مفصلة ومرتبة زمنيًا تصف الأفعال وزوايا الكاميرا وتفاصيل البيئة. وتدعم تعزيز التوجيه التلقائي، والتنبؤ بالمدة، وسير عمل EXR/HDR. يوفر المستودع أوامر CLI شاملة ووصولًا عبر واجهة Python البرمجية، مما يجعله مجموعة أدوات متعددة الاستخدامات للمطورين والباحثين والمبدعين الراغبين في بناء تطبيقات توليد صوت وفيديو مخصصة.