इस प्रोजेक्ट के बारे में

LingBot-World एक ओपन-सोर्स विश्व सिम्युलेटर और वीडियो जनरेशन फ्रेमवर्क है, जो Wan2.2 आर्किटेक्चर पर निर्मित है। यह उच्च-गुणवत्ता वाले सिमुलेशन, विविध दृश्य शैलियों (जैसे यथार्थवाद, वैज्ञानिक संदर्भ, और कार्टून) में मजबूत गतिशीलता, और मिनट-स्तरीय क्षितिज पर दीर्घकालिक स्मृति स्थिरता प्रदान करके ओपन-सोर्स विश्व मॉडल को आगे बढ़ाने के लिए डिज़ाइन किया गया है। यह मॉडल वास्तविक समय इंटरैक्टिविटी का समर्थन करता है, जो 16 फ्रेम प्रति सेकंड पर कम विलंबता (1 सेकंड से कम) प्राप्त करता है। मुख्य विशेषताएं: - **उच्च-गुणवत्ता और विविध वातावरण**: विभिन्न दृश्य डोमेन में जटिल वातावरण का सिमुलेशन करने में सक्षम। - **दीर्घकालिक स्मृति और स्थिरता**: लंबे वीडियो क्षितिज पर संदर्भ स्थिरता बनाए रखता है। - **वास्तविक समय इंटरैक्टिविटी**: कम विलंबता के साथ इंटरैक्टिव नियंत्रण का समर्थन करता है, जो गेमिंग, सामग्री निर्माण, और रोबोट सीखने के लिए उपयुक्त है। - **लचीले नियंत्रण संकेत**: कैमरा पोज़, क्रिया अनुक्रम, या उपयोगकर्ता-अनुकूल क्रिया स्ट्रिंग (जैसे गति और कैमरा दिशा कमांड) द्वारा निर्देशित किया जा सकता है, या बिना शर्त चलाया जा सकता है। मॉडल और उपकरण: - **LingBot-World-Base (Cam)**: कैमरा पोज़ नियंत्रित मॉडल, 480P और 720P रिज़ॉल्यूशन में उपलब्ध। - **LingBot-World-Base (Act)**: क्रिया नियंत्रित मॉडल, पाठ-आधारित क्रिया स्ट्रिंग का समर्थन करता है। - **LingBot-World-Fast**: एक त्वरित संस्करण जो कारणात्मक अनुमान और KV कैशिंग का उपयोग करके कुशल, खंड-दर-खंड फ्रेम जनरेशन के लिए है। - **क्वांटाइज़्ड मॉडल**: सीमित GPU मेमोरी वाले उपयोगकर्ताओं के लिए 4-बिट क्वांटाइज़्ड संस्करण उपलब्ध है, हालांकि यह केवल अनुमान के लिए है और इसमें मामूली दृश्य गिरावट हो सकती है। तकनीकी आवश्यकताएं और उपयोग: इस परियोजना के लिए PyTorch (>= 2.4.0) और फ्लैश अटेंशन की आवश्यकता है। अनुमान स्क्रिप्ट `torchrun` के माध्यम से मल्टी-GPU निष्पादन का समर्थन करती हैं। मॉडल वेट HuggingFace या ModelScope से डाउनलोड किए जा सकते हैं। रिपॉजिटरी विभिन्न कॉन्फ़िगरेशन विकल्पों के साथ इमेज-टू-वीडियो जनरेशन के लिए उदाहरण स्क्रिप्ट प्रदान करती है। नोट: यह रिपॉजिटरी अब सक्रिय रूप से बनाए नहीं रखी गई है। लेखकों ने विकास को नए रिपॉजिटरी, LingBot-World-Infinity (v2) में स्थानांतरित कर दिया है।