عن المشروع

يُعد Uncertainty Baselines مستودعاً بحثياً من Google يقدم قالباً وتطبيقات مرجعية لقياس أداء عدم اليقين والمتانة في التعلم العميق. وتتمثل أهدافه المعلنة في توفير تطبيقات عالية الجودة للأساليب القياسية والمتطورة على المهام القياسية، والحفاظ على الحد الأدنى من التبعيات بين الملفات بحيث يسهل تفرّع المعايير المرجعية، وفرض أفضل الممارسات لقياس الأداء. الدافع وراء ذلك هو أن شيفرة عدم اليقين والمتانة غالباً ما تكون لمرة واحدة لكل ورقة بحثية، دون أمثلة مشتركة يُبنى عليها، وحتى المهام القياسية تختلف في المعماريات والمعاملات الفائقة والمعالجة المسبقة، مما يجعل المقارنات صعبة. يتم التثبيت عبر pip من مستودع Git؛ ولا يوجد إصدار مستقر وقد تتغير واجهات البرمجة. تثبيت الحزمة لا يثبّت خلفية تشغيل: يجب تثبيت TensorFlow وTensorFlow Addons وTensorBoard بشكل منفصل، مع تبعيات إضافية مدرجة في setup.py. يتمحور الاستخدام حول دليل baselines/، المنظم حسب مجموعة بيانات التدريب. على سبيل المثال، المعيار المرجعي الحتمي لـ CIFAR هو Wide ResNet 28-10. غالباً ما يتطلب إعادة إنتاج المعايير المرجعية وحدات TPU، مع ثلاث خيارات موصوفة: Colab (وحدات TPU مجانية، مريحة لكن غير مضمونة على المدى الطويل)، وGoogle Cloud (الأكثر مرونة، مع متغيرات بيئة مثال وأوامر تشغيل لمعيار BatchEnsemble المرجعي)، وتغيير الأعلام لاستخدام وحدات GPU أو أنوية أقل. يحذر ملف README من أن تغيير عدد الأنوية مهم لأن حجم الدفعة الإجمالي غالباً ما يُحدد بواسطة num_cores. تتبع وحدة ub.datasets واجهة برمجة TensorFlow Datasets وتضيف منطقاً بسيطاً مثل المعالجة المسبقة الافتراضية. يمكن إنشاء مجموعات البيانات مباشرة أو عبر دالة get من سلاسل نصية، ويمكن استخدامها مع Jax وPyTorch من خلال tfds.as_numpy أو مسار _numpy الأقل نسخاً. تتبع وحدة ub.models واجهة tf.keras.Model، مع مثال يبني شبكة wide ResNet. تشمل المقاييس المعرّفة عبر مجموعات البيانات عدد المعاملات، ودقة الاختبار، وخطأ المعايرة في الاختبار (خطأ المعايرة المتوقع)، واللوغاريتم السالب لدالة الإمكان في الاختبار، ووقت التشغيل للتدريب والاختبار. تُبلَّغ النتائج بنحو ثلاث أرقام معنوية وتُتوسط على عشر عمليات تشغيل. تُكتب ملخصات TensorFlow في model_dir لـ TensorBoard، بما في ذلك إضافة المعاملات الفائقة، ويمكن رفعها إلى tensorboard.dev. يتضمن ملف README اقتباس BibTeX ويسرد الأوراق البحثية التي استخدمت الشيفرة. تغطي إرشادات المساهمة التنسيق باستخدام yapf، وإضافة معيار مرجعي (تفرّع سكربت، وضبط الإعدادات الافتراضية، وإضافة النتائج إلى الجدول)، وإضافة مجموعة بيانات (مرجع، فئة فرعية من BaseDataset، اختبار، تسجيل)، وإضافة نموذج (مرجع، دالة create_model، اختبار، تسجيل).