প্রকল্প সম্পর্কে

LingBot-World হল একটি ওপেন-সোর্স বিশ্ব সিমুলেটর এবং ভিডিও জেনারেশন ফ্রেমওয়ার্ক যা Wan2.2 আর্কিটেকচারের উপর নির্মিত। এটি উচ্চ-বিশ্বস্ত সিমুলেশন, বিভিন্ন ভিজ্যুয়াল স্টাইল জুড়ে শক্তিশালী গতিবিদ্যা (যেমন বাস্তববাদ, বৈজ্ঞানিক প্রসঙ্গ এবং কার্টুন), এবং মিনিট-দীর্ঘ দিগন্তের উপর দীর্ঘমেয়াদী মেমরি ধারাবাহিকতা প্রদানের মাধ্যমে ওপেন-সোর্স বিশ্ব মডেলগুলিকে অগ্রসর করার জন্য ডিজাইন করা হয়েছে। মডেলটি রিয়েল-টাইম ইন্টারঅ্যাক্টিভিটি সমর্থন করে, প্রতি সেকেন্ডে 16 ফ্রেমে কম লেটেন্সি (1 সেকেন্ডের নিচে) অর্জন করে। মূল বৈশিষ্ট্য: - **উচ্চ-বিশ্বস্ত ও বৈচিত্র্যময় পরিবেশ**: বিভিন্ন ভিজ্যুয়াল ডোমেন জুড়ে জটিল পরিবেশ সিমুলেট করতে সক্ষম। - **দীর্ঘমেয়াদী মেমরি ও ধারাবাহিকতা**: দীর্ঘ ভিডিও দিগন্তের উপর প্রাসঙ্গিক ধারাবাহিকতা বজায় রাখে। - **রিয়েল-টাইম ইন্টারঅ্যাক্টিভিটি**: কম লেটেন্সি সহ ইন্টারঅ্যাক্টিভ নিয়ন্ত্রণ সমর্থন করে, যা গেমিং, কন্টেন্ট তৈরি এবং রোবট শেখার জন্য উপযুক্ত। - **নমনীয় নিয়ন্ত্রণ সংকেত**: ক্যামেরা পোজ, অ্যাকশন সিকোয়েন্স বা ব্যবহারকারী-বান্ধব অ্যাকশন স্ট্রিং (যেমন চলাচল এবং ক্যামেরা দিকনির্দেশ কমান্ড) দ্বারা পরিচালিত হতে পারে, অথবা শর্তহীনভাবে চলতে পারে। মডেল ও সরঞ্জাম: - **LingBot-World-Base (Cam)**: ক্যামেরা পোজ-নিয়ন্ত্রিত মডেল, 480P এবং 720P রেজোলিউশনে উপলব্ধ। - **LingBot-World-Base (Act)**: অ্যাকশন-নিয়ন্ত্রিত মডেল যা টেক্সট-ভিত্তিক অ্যাকশন স্ট্রিং সমর্থন করে। - **LingBot-World-Fast**: একটি ত্বরান্বিত সংস্করণ যা কার্যকারী ইনফারেন্স এবং KV ক্যাশিং ব্যবহার করে দক্ষ, খণ্ড-খণ্ড ফ্রেম জেনারেশনের জন্য। - **কোয়ান্টাইজড মডেল**: সীমিত GPU মেমরি ব্যবহারকারীদের জন্য একটি 4-বিট কোয়ান্টাইজড সংস্করণ উপলব্ধ, তবে এটি শুধুমাত্র ইনফারেন্সের জন্য এবং সামান্য ভিজ্যুয়াল অবনতি প্রদর্শন করতে পারে। প্রযুক্তিগত প্রয়োজনীয়তা ও ব্যবহার: প্রকল্পটির জন্য PyTorch (>= 2.4.0) এবং ফ্ল্যাশ অ্যাটেনশন প্রয়োজন। ইনফারেন্স স্ক্রিপ্টগুলি `torchrun`-এর মাধ্যমে মাল্টি-GPU এক্সিকিউশন সমর্থন করে। মডেল ওজন HuggingFace বা ModelScope থেকে ডাউনলোড করা যেতে পারে। রিপোজিটরিটি বিভিন্ন কনফিগারেশন বিকল্প সহ ইমেজ-টু-ভিডিও জেনারেশনের জন্য উদাহরণ স্ক্রিপ্ট সরবরাহ করে। দ্রষ্টব্য: এই রিপোজিটরিটি আর সক্রিয়ভাবে রক্ষণাবেক্ষণ করা হয় না। লেখকরা উন্নয়নটি নতুন রিপোজিটরি, LingBot-World-Infinity (v2)-এ স্থানান্তর করেছেন।