इस प्रोजेक्ट के बारे में

Code2Video सिंगापुर की नेशनल यूनिवर्सिटी की Show Lab की एक शोध परियोजना है, जिसे ICML 2026 में स्वीकार किया गया है, जो ज्ञान बिंदुओं से शैक्षिक वीडियो बनाती है। पिक्सेल-आधारित टेक्स्ट-टू-वीडियो मॉडल पर निर्भर रहने के बजाय, यह वीडियो के अस्थायी अनुक्रम और स्थानिक लेआउट दोनों के माध्यम के रूप में निष्पादन योग्य कोड को मानती है, और अंतिम परिणाम रेंडर करने के लिए Manim Community v0.19.0 का उपयोग करती है। यह फ्रेमवर्क तीन सहयोगी एजेंट्स के आसपास बनाया गया है। एक Planner किसी ज्ञान बिंदु को स्टोरीबोर्ड में विस्तारित करता है, एक Coder डिबग करने योग्य Manim कोड संश्लेषित करता है, और एक Critic एंकर का उपयोग करके लेआउट और सौंदर्यशास्त्र को परिष्कृत करता है। रिपॉजिटरी नोट करती है कि सर्वोत्तम Manim कोड गुणवत्ता Claude-4-Opus के साथ प्राप्त की गई, जबकि लेआउट और सौंदर्यशास्त्र अनुकूलन में Gemini API key का उपयोग होता है, और gemini-2.5-pro-preview-05-06 को सर्वोत्तम प्रदर्शन करने वाला कॉन्फ़िगरेशन बताया गया है। एक वैकल्पिक IconFinder API key वीडियो को आइकन से समृद्ध करती है। शुरुआत करने के लिए src/requirements.txt से निर्भरताएँ इंस्टॉल करना और api_config.json में API क्रेडेंशियल भरना आवश्यक है। दो शेल स्क्रिप्ट्स मुख्य वर्कफ़्लो को कवर करती हैं: run_agent_single.sh कमांड लाइन पर दिए गए एक ज्ञान बिंदु से वीडियो बनाती है, जबकि run_agent.sh long_video_topics_list.json में परिभाषित सभी या कुछ विषयों को चलाती है, जिसमें आउटपुट फ़ोल्डर प्रीफ़िक्स, अधिकतम कॉन्सेप्ट संख्या और समानांतर समूह संख्या के पैरामीटर होते हैं। उत्पन्न केस फ़ोल्डर प्रीफ़िक्स के अनुसार CASES डायरेक्टरी के अंतर्गत व्यवस्थित किए जाते हैं। यह परियोजना MMMC बेंचमार्क भी जारी करती है, जिसे कोड-चालित वीडियो जनरेशन के लिए पहला बेंचमार्क बताया गया है, और यह 3Blue1Brown से प्रेरित 117 चयनित शिक्षण विषयों को कवर करता है। मूल्यांकन तीन आयामों में व्यवस्थित है: eval_TQ.py के माध्यम से ज्ञान हस्तांतरण, eval_AES.py के माध्यम से सौंदर्य और संरचनात्मक गुणवत्ता, और टोकन उपयोग तथा निष्पादन समय जैसे दक्षता मेट्रिक्स। अतिरिक्त डेटा और मूल्यांकन स्क्रिप्ट्स Hugging Face पर होस्ट किए गए हैं। README वीडियो डेटा के स्रोत और स्पष्टता तथा सौंदर्यशास्त्र के संदर्भ के रूप में 3Blue1Brown पाठों को श्रेय देता है, और Manim Community, IconFinder तथा Icons8 का आभार व्यक्त करता है। README का चीनी अनुवाद प्रदान किया गया है। यह रिपॉजिटरी एक शोध कोडबेस है, पैकेज्ड एप्लिकेशन नहीं, इसलिए उपयोगकर्ताओं को बाहरी LLM, VLM और एसेट API स्वयं कॉन्फ़िगर करने की अपेक्षा करनी चाहिए।