প্রকল্প সম্পর্কে

LTX-2 হলো Lightricks-এর তৈরি একটি ওপেন-সোর্স পাইথন প্যাকেজ, যা LTX-2 অডিও-ভিডিও জেনারেটিভ মডেলের ইনফারেন্স এবং ফাইন-টিউনিং (LoRA, IC-LoRA) এর জন্য ব্যবহৃত হয়। এটি একটি মনোরেপো হিসেবে সংগঠিত, যাতে তিনটি প্রধান প্যাকেজ রয়েছে: ltx-core (মূল মডেল বাস্তবায়ন এবং ইনফারেন্স স্ট্যাক), ltx-pipelines (বিভিন্ন জেনারেশন কাজের জন্য উচ্চ-স্তরের পাইপলাইন), এবং ltx-trainer (প্রশিক্ষণ এবং ফাইন-টিউনিং টুল)। রিপোজিটরির কেন্দ্রবিন্দু হলো LTX-2.5 মডেল, যা একটি ডিফিউশন ট্রান্সফরমার (DiT)-ভিত্তিক ফাউন্ডেশন মডেল এবং এটি সিঙ্ক্রোনাইজড অডিও এবং ভিডিও তৈরি করতে সক্ষম। প্যাকেজটি একাধিক জেনারেশন মোড সমর্থন করে, যা দ্রুত প্রোটোটাইপিং থেকে প্রোডাকশন-মানের আউটপুট পর্যন্ত বিস্তৃত। মূল বৈশিষ্ট্য এবং ক্ষমতাগুলির মধ্যে রয়েছে: - একাধিক ইনফারেন্স পাইপলাইন: দ্রুত টেক্সট/ইমেজ-টু-ভিডিও জেনারেশনের জন্য DistilledPipeline (মাত্র ৮টি ধাপ), প্রোডাকশন-মানের ফলাফলের জন্য DFRPipeline (ডিফিউশন ফিডেলিটি রেন্ডারিং) যাতে ডিটেইলিং IC-LoRA রয়েছে, এবং ভিডিও-টু-ভিডিও রূপান্তর, কীফ্রেম ইন্টারপোলেশন, অডিও-টু-ভিডিও জেনারেশন, ভিডিও রিটেক, HDR আউটপুট এবং ডাবিং (DubIt) এর জন্য বিশেষায়িত পাইপলাইন। - মডেল উপাদান: Hugging Face থেকে মডেল ওয়েটের মডুলার ডাউনলোড সমর্থন করে, যার মধ্যে রয়েছে 22B ডিস্টিলড বা ডেভ ট্রান্সফরমার, Gemma 4 12B টেক্সট এনকোডার, ভিডিও এবং অডিও VAE, স্পেশাল এবং টেম্পোরাল আপস্কেলার এবং LoRA অ্যাডাপ্টার। - অপ্টিমাইজেশন এবং হার্ডওয়্যার সমর্থন: VRAM ব্যবহার কমানোর জন্য FP8 কোয়ান্টাইজেশন, Hopper এবং Blackwell GPU-তে FlashAttention 3/4 সমর্থন, এবং Linux+CUDA-তে দ্রুত নেবারহুড অ্যাটেনশন ডিকোডিংয়ের জন্য natten এক্সট্রা। - প্রম্পটিং এবং নিয়ন্ত্রণ: অ্যাকশন, ক্যামেরা অ্যাঙ্গেল এবং পরিবেশের বিবরণ বর্ণনা করে বিস্তারিত, কালানুক্রমিক প্রম্পট উৎসাহিত করে। স্বয়ংক্রিয় প্রম্পট এনহ্যান্সমেন্ট, ডিউরেশন প্রেডিকশন এবং EXR/HDR ওয়ার্কফ্লো সমর্থন করে। রিপোজিটরিটি ব্যাপক CLI কমান্ড এবং Python API অ্যাক্সেস সরবরাহ করে, যা ডেভেলপার, গবেষক এবং নির্মাতাদের জন্য একটি বহুমুখী টুলকিট হিসেবে কাজ করে যারা কাস্টম অডিও-ভিডিও জেনারেশন অ্যাপ্লিকেশন তৈরি করতে চান।