عن المشروع

autoresearch هو إطار عمل بحثي للذكاء الاصطناعي المستقل أنشأه أندريه كارباثي، ويتيح لوكلاء الذكاء الاصطناعي إجراء تجارب مستقلة على تدريب نماذج اللغة على وحدة معالجة رسومية واحدة. تم بناء النظام حول تنفيذ مبسط لوحدة معالجة رسومية واحدة من nanochat، حيث يقوم وكيل الذكاء الاصطناعي بشكل مستقل بتعديل كود التدريب (train.py)، وتشغيل التجارب بميزانية زمنية ثابتة تبلغ 5 دقائق، وتقييم النتائج باستخدام وحدات البت لكل بايت للتحقق (val_bpb)، والتكرار—مع الاحتفاظ بالتحسينات واستبعاد الانحدارات. المشروع بسيط عمدًا، ويتكون من ثلاثة ملفات رئيسية: prepare.py (إعداد البيانات والأدوات الثابتة، غير معدلة)، وtrain.py (الملف الوحيد الذي يعدله الوكيل، ويحتوي على نموذج GPT الكامل والمحسن وحلقة التدريب)، وprogram.md (تعليمات أساسية للوكيل، يحررها الإنسان). يتحول دور الإنسان من كتابة كود بايثون إلى برمجة ملفات program.md التي تحدد منظمة البحث المستقلة. يُبقى program.md الافتراضي كخط أساس بسيط عمدًا، على الرغم من أنه من الواضح كيف يمكن التكرار عليه بمرور الوقت للعثور على 'كود منظمة البحث' الذي يحقق أسرع تقدم بحثي، أو إضافة المزيد من الوكلاء إلى المزيج. يعمل التدريب لمدة 5 دقائق بالضبط بغض النظر عن تفاصيل الحوسبة، مما يمكن من إجراء حوالي 12 تجربة في الساعة وحوالي 100 تجربة طوال الليل. تجعل هذه الميزة الزمنية الثابتة التجارب قابلة للمقارنة مباشرة بغض النظر عن ما يغيره الوكيل (حجم النموذج، حجم الدفعة، البنية، إلخ) وتضمن أن النظام يجد النموذج الأمثل للمنصة المحددة ضمن هذا القيد. المقياس val_bpb مستقل عن حجم المفردات، مما يسمح بمقارنة عادلة عبر التغييرات البنيوية. تشمل المتطلبات وحدة معالجة رسومية واحدة من NVIDIA (تم اختبارها على H100)، وPython 3.10+، وuv. المشروع مكتفٍ ذاتيًا بدون تبعيات خارجية تتجاوز PyTorch وبعض الحزم الصغيرة—بدون تدريب موزع أو تكوينات معقدة. توجد نسخ معدلة ملحوظة لمنصات macOS وWindows وAMD. المشروع مرخص بموجب MIT.