इस प्रोजेक्ट के बारे में

autoresearch आंद्रेज कारपाथी द्वारा बनाया गया एक स्वायत्त AI शोध ढांचा है जो AI एजेंटों को एक GPU पर LLM प्रशिक्षण के साथ स्वतंत्र रूप से प्रयोग करने की सुविधा देता है। यह सिस्टम nanochat के सरलीकृत एक-GPU कार्यान्वयन पर आधारित है, जहाँ एक AI एजेंट स्वायत्त रूप से प्रशिक्षण कोड (train.py) को संशोधित करता है, 5 मिनट की निश्चित वॉल-क्लॉक समय सीमा के साथ प्रयोग चलाता है, मान्यकरण बिट्स प्रति बाइट (val_bpb) का उपयोग करके परिणामों का मूल्यांकन करता है, और पुनरावृत्ति करता है—सुधारों को रखता है और प्रतिगमन को हटा देता है। यह प्रोजेक्ट जानबूझकर न्यूनतम है, जिसमें तीन प्रमुख फाइलें शामिल हैं: prepare.py (निश्चित डेटा तैयारी और उपयोगिताएँ, संशोधित नहीं), train.py (एकमात्र फाइल जिसे एजेंट संपादित करता है, जिसमें पूर्ण GPT मॉडल, ऑप्टिमाइज़र और प्रशिक्षण लूप शामिल है), और program.md (एजेंट के लिए आधारभूत निर्देश, मानव द्वारा संपादित)। मानव की भूमिका Python कोड लिखने से हटकर program.md Markdown फाइलों को प्रोग्राम करने की ओर स्थानांतरित हो जाती है, जो स्वायत्त अनुसंधान संगठन को परिभाषित करती हैं। डिफ़ॉल्ट program.md को जानबूझकर एक न्यूनतम आधाररेखा के रूप में रखा गया है, हालाँकि यह स्पष्ट है कि समय के साथ इस पर पुनरावृत्ति करके research org code कैसे खोजा जाए जो सबसे तेज़ शोध प्रगति प्राप्त करे, या अधिक एजेंट जोड़े जाएँ। प्रशिक्षण कंप्यूट विवरणों की परवाह किए बिना ठीक 5 मिनट तक चलता है, जिससे प्रति घंटे लगभग 12 प्रयोग और रात भर में लगभग 100 प्रयोग संभव होते हैं। यह निश्चित समय बजट प्रयोगों को सीधे तुलनीय बनाता है, चाहे एजेंट कुछ भी बदलता है (मॉडल आकार, बैच आकार, आर्किटेक्चर, आदि), और सुनिश्चित करता है कि सिस्टम उस बाधा के भीतर दिए गए प्लेटफ़ॉर्म के लिए इष्टतम मॉडल ढूंढे। मेट्रिक val_bpb शब्दावली-आकार से स्वतंत्र है, जो आर्किटेक्चरल परिवर्तनों के बीच उचित तुलना की अनुमति देता है। आवश्यकताओं में एक NVIDIA GPU (H100 पर परीक्षण किया गया), Python 3.10+, और uv शामिल हैं। यह प्रोजेक्ट आत्म-निहित है और PyTorch तथा कुछ छोटे पैकेजों के अलावा कोई बाहरी निर्भरता नहीं रखता—कोई वितरित प्रशिक्षण या जटिल कॉन्फ़िगरेशन नहीं। macOS, Windows, और AMD प्लेटफ़ॉर्म के लिए उल्लेखनीय फ़ोर्क मौजूद हैं। यह प्रोजेक्ट MIT लाइसेंस के अंतर्गत है।