প্রকল্প সম্পর্কে

SANA হলো NVIDIA Labs-এর একটি দক্ষতা-কেন্দ্রিক ওপেন-সোর্স কোডবেস, যা উচ্চ-রেজোলিউশন ছবি ও ভিডিও জেনারেশনের জন্য তৈরি। এটি ডিফিউশন ট্রান্সফরমার মডেল পরিবারের জন্য সম্পূর্ণ ট্রেনিং ও ইনফারেন্স পাইপলাইন একত্রিত করে, যার মধ্যে রয়েছে SANA, SANA-1.5, SANA-Sprint, SANA-Video, SANA-Video 2.0, SANA-WM, SANA-Streaming এবং Sol-RL। এটি যা প্রদান করে: - 4K রেজোলিউশন পর্যন্ত টেক্সট-টু-ইমেজ জেনারেশন, 600M এবং 1.6B স্কেলের মডেল ভ্যারিয়েন্ট এবং বহুভাষিক (ইংরেজি, চীনা, ইমোজি) ফাইন-টিউনড চেকপয়েন্ট সহ। - SANA-1.5: উন্নত মানের জন্য ট্রেনিং-টাইম এবং ইনফারেন্স-টাইম কম্পিউট স্কেলিং। - SANA-Sprint: sCM ডিস্টিলেশনের মাধ্যমে এক/কয়েক-ধাপের জেনারেশন, H100-এ 1024px ছবিতে 0.1s প্রতি ছবি হিসেবে রিপোর্ট করা হয়েছে। - SANA-Video এবং LongSANA: Block Causal Linear Attention ব্যবহার করে ভিডিও জেনারেশন, টেক্সট-টু-ভিডিও এবং টেক্সট-ইমেজ-টু-ভিডিও সমর্থন সহ। - SANA-Video 2.0: হাইব্রিড লিনিয়ার/সফটম্যাক্স অ্যাটেনশন এবং Attention Residuals সহ 5B এবং 14B আর্কিটেকচার; একটি 5B 720p চেকপয়েন্ট এবং একটি 4-ধাপের DMD প্রিভিউ প্রকাশিত হয়েছে। - SANA-WM: 720p, মিনিট-স্কেল ভিডিওর জন্য 6-DoF ক্যামেরা নিয়ন্ত্রণ সহ একটি 2.6B নিয়ন্ত্রণযোগ্য ওয়ার্ল্ড মডেল। - SANA-Streaming: 720p, মিনিট-স্কেল ভিডিওর জন্য একটি 2B রিয়েল-টাইম স্ট্রিমিং ভিডিও-টু-ভিডিও এডিটিং মডেল। - Sol-RL: NVFP4 রোলআউট এবং BF16 ট্রেনিং ব্যবহার করে রিইনফোর্সমেন্ট-লার্নিং পোস্ট-ট্রেনিং রেসিপি, SANA, FLUX.1 এবং SD3.5-L-এর জন্য রেসিপি সহ। রিপোজিটরিতে বর্ণিত মূল কৌশলগুলির মধ্যে রয়েছে DiT ব্যাকবোনে লিনিয়ার অ্যাটেনশন, লেটেন্ট টোকেন কমাতে DC-AE 32x ইমেজ কম্প্রেশন, একটি ডিকোডার-ওনলি টেক্সট এনকোডার, দীর্ঘ ভিডিওর জন্য Causal Mix-FFN সহ Block Causal Linear Attention, Flow-DPM-Solver স্যাম্পলিং, sCM ডিস্টিলেশন এবং লো-প্রিসিশন RL রোলআউট। প্রকল্পটি জানায় যে 4-বিট কোয়ান্টাইজেশন 8GB VRAM-এর কম GPU-তে ডিপ্লয়মেন্টের সুযোগ দেয়। ইকোসিস্টেম ইন্টিগ্রেশন: মডেলগুলি Hugging Face, diffusers পাইপলাইন, ComfyUI নোড, OpenAI-সামঞ্জস্যপূর্ণ API সহ SGLang সার্ভিং, Cosmos-RL পোস্ট-ট্রেনিং এবং Replicate API-এর মাধ্যমে পাওয়া যায়। SANA, 4-বিট, ControlNet, SANA-Sprint, SANA-Video 2.0, SANA-WM এবং SANA-Streaming-এর জন্য ডেমো হোস্ট করা হয়েছে। শুরু করা: রিপোজিটরি ক্লোন করুন এবং প্রদত্ত এনভায়রনমেন্ট সেটআপ স্ক্রিপ্ট চালান, তারপর ডকুমেন্টেড ইনফারেন্স এবং ট্রেনিং কনফিগ ব্যবহার করুন। README-তে SANA-Video 2.0 5B চেকপয়েন্ট দিয়ে 720p ভিডিও তৈরি করার একটি সম্পূর্ণ উদাহরণ কমান্ড রয়েছে। কোডবেসটি Apache 2.0 লাইসেন্সের অধীনে।