প্রকল্প সম্পর্কে

autoresearch হল Andrej Karpathy দ্বারা তৈরি একটি স্বায়ত্তশাসিত AI গবেষণা ফ্রেমওয়ার্ক যা AI এজেন্টদের একক GPU-তে স্বাধীনভাবে LLM প্রশিক্ষণ নিয়ে পরীক্ষা করতে দেয়। সিস্টেমটি nanochat-এর একটি সরলীকৃত একক-GPU বাস্তবায়নের উপর নির্মিত, যেখানে একটি AI এজেন্ট স্বায়ত্তশাসিতভাবে প্রশিক্ষণ কোড (train.py) পরিবর্তন করে, নির্দিষ্ট ৫-মিনিটের ওয়াল-ক্লক বাজেটে পরীক্ষা চালায়, ভ্যালিডেশন বিটস পার বাইট (val_bpb) ব্যবহার করে ফলাফল মূল্যায়ন করে এবং পুনরাবৃত্তি করে—উন্নতিগুলি রাখে এবং প্রতিবন্ধকতা বাতিল করে। প্রজেক্টটি ইচ্ছাকৃতভাবে ন্যূনতম, তিনটি মূল ফাইল নিয়ে গঠিত: prepare.py (স্থির ডেটা প্রস্তুতি এবং ইউটিলিটি, সংশোধিত নয়), train.py (এজেন্ট সম্পাদনা করে এমন একক ফাইল, যাতে সম্পূর্ণ GPT মডেল, অপ্টিমাইজার এবং প্রশিক্ষণ লুপ রয়েছে), এবং program.md (এজেন্টের জন্য বেসলাইন নির্দেশনা, মানব দ্বারা সম্পাদিত)। মানবের ভূমিকা Python কোড লেখা থেকে program.md মার্কডাউন ফাইল প্রোগ্রাম করা পর্যন্ত স্থানান্তরিত হয় যা স্বায়ত্তশাসিত গবেষণা সংস্থা নির্ধারণ করে। ডিফল্ট program.md ইচ্ছাকৃতভাবে একটি ন্যূনতম বেসলাইন হিসেবে রাখা হয়েছে, যদিও এটি স্পষ্ট যে সময়ের সাথে সাথে কীভাবে এটির উপর পুনরাবৃত্তি করা যায় তা খুঁজে বের করা যায় যে 'রিসার্চ অর্গ কোড' যা দ্রুততম গবেষণা অগ্রগতি অর্জন করে, বা মিশ্রণে আরও এজেন্ট যোগ করে। কম্পিউটের বিবরণ নির্বিশেষে প্রশিক্ষণ ঠিক ৫ মিনিট চলে, যা প্রতি ঘন্টায় প্রায় ১২টি পরীক্ষা এবং রাতারাতি প্রায় ১০০টি পরীক্ষা সক্ষম করে। এই নির্দিষ্ট সময় বাজেট এজেন্ট যা পরিবর্তন করে (মডেলের আকার, ব্যাচের আকার, আর্কিটেকচার ইত্যাদি) তা নির্বিশেষে পরীক্ষাগুলিকে সরাসরি তুলনাযোগ্য করে তোলে এবং নিশ্চিত করে যে সিস্টেমটি সেই সীমাবদ্ধতার মধ্যে প্রদত্ত প্ল্যাটফর্মের জন্য সর্বোত্তম মডেল খুঁজে পায়। মেট্রিক val_bpb শব্দভান্ডার-আকার-স্বাধীন, যা আর্কিটেকচারগত পরিবর্তনগুলির মধ্যে ন্যায্য তুলনা করার অনুমতি দেয়। প্রয়োজনীয়তার মধ্যে রয়েছে একটি একক NVIDIA GPU (H100-তে পরীক্ষিত), Python 3.10+, এবং uv। প্রজেক্টটি স্বয়ংসম্পূর্ণ, PyTorch এবং কয়েকটি ছোট প্যাকেজ ছাড়া কোনো বাহ্যিক নির্ভরতা নেই—কোনো ডিস্ট্রিবিউটেড প্রশিক্ষণ বা জটিল কনফিগারেশন নেই। macOS, Windows এবং AMD প্ল্যাটফর্মের জন্য উল্লেখযোগ্য ফর্ক রয়েছে। প্রজেক্টটি MIT লাইসেন্সের অধীনে।