প্রকল্প সম্পর্কে
LTX-Video লাইট্রিক্স কর্তৃক বিকশিত একটি ওপেন-সোর্স DiT-ভিত্তিক ভিডিও জেনারেশন মডেল। এটি সিঙ্ক্রোনাইজড অডিও-ভিডিও জেনারেশন, হাই-ফিডেলিটি আউটপুট এবং একাধিক পারফরম্যান্স মোড সহ মূল ভিডিও জেনারেশন ক্ষমতাকে একটি মডেলে একত্রিত করেছে। এই মডেল এক পাসে সিক্স 4K রেজোলিউশনে 50 FPS পর্যন্ত ভিডিও জেনারেট করতে পারে।
প্রধান বৈশিষ্ট্যসমূহ:
- টেক্সট-টু-ভিডিও এবং ইমেজ-টু-ভিডিও জেনারেশন
- ভিডিও এক্সটেনশন (আগে এবং পিছনে)
- মাল্টি-কীফ্রেম কন্ডিশনিং এবং কীফ্রেজ-ভিত্তিক অ্যানিমেশন
- ভিডিও-টু-ভিডিও রূপান্তর
- সমন্বিত অডিও জেনারেশন (LTX-2)
রেপোজিটরি-তে 13B এবং 2B প্যারামিটার ভার্সন, দ্রুত ইনফারেন্সের জন্য ডিস্টিলড মডেল এবং কম VRAM ব্যবহারের জন্য FP8 কোয়ান্টাইজড ভার্সন রয়েছে। ডিস্টিলড মডেলরা সঠিক হার্ডওয়্যারে সেকেন্ডের মধ্যে HD ভিডিও তৈরি করে। LoRA ভার্সনে 2B ডিস্টিলড মডেলের মাত্র 1GB VRAM প্রয়োজন হয়।
LTX-Video ComfyUI, Diffusers এর সাথে ইন্টিগ্রেশন সমর্থন করে এবং একটি Python লাইব্রেরি API প্রদান করে। এটি ডেপথ, পোজ এবং Canny এজ কন্ডিশনিংয়ের জন্য কন্ট্রোল মডেল এবং শৈলী কাস্টমাইজেশনের জন্য LoRA ফাইন-টিউনিং সমর্থন করে। মডেলটি বাণিজ্যিক ব্যবহারের জন্য OpenRAIL-M লাইসেন্সে উপলব্ধ।
সম্প্রদায় অবদান: উন্নত এডিটিং ওয়ার্কফ্লো (RF-Inversion, RF-Edit, FlowEdit) এর জন্য ComfyUI-LTXTricks, NVIDIA ADA GPU-তে 8-বিট অপ্টিমাইজড ইনফারেন্সের জন্য LTX-VideoQ8, এবং ট্রেনিং-মুক্ত ইনফারেন্স ত্বরান্বিত করার জন্য TeaCache।后继 मॉडल LTX-2 এ সমন্বিত অডিও-ভিডিও জেনারেশন, দীর্ঘ ক্লিপ সমর্থন এবং উন্নত সৃজনশীল নিয়ন্ত্রণ যুক্ত হয়েছে।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.