প্রকল্প সম্পর্কে

আনসার্টেইনটি বেসলাইনস হলো একটি গুগল গবেষণা রিপোজিটরি যা ডিপ লার্নিংয়ে অনিশ্চয়তা এবং দৃঢ়তা বেঞ্চমার্কিংয়ের জন্য একটি টেমপ্লেট এবং রেফারেন্স বাস্তবায়ন সরবরাহ করে। এর ঘোষিত লক্ষ্যগুলি হলো মানসম্মত কাজগুলিতে মানসম্মত এবং অত্যাধুনিক পদ্ধতির উচ্চমানের বাস্তবায়ন প্রদান, ফাইলগুলির মধ্যে ন্যূনতম নির্ভরতা রাখা যাতে বেসলাইনগুলি সহজে ফর্ক করা যায়, এবং বেঞ্চমার্কিংয়ের জন্য সর্বোত্তম অনুশীলন নির্ধারণ করা। প্রেরণা হলো অনিশ্চয়তা এবং দৃঢ়তা কোড প্রায়শই প্রতি গবেষণাপত্রে এককালীন হয়, যার উপর ভিত্তি করে গড়ার কোনো ভাগ করা উদাহরণ থাকে না, এবং এমনকি মানসম্মত কাজগুলিও আর্কিটেকচার, হাইপারপ্যারামিটার এবং প্রিপ্রসেসিংয়ে ভিন্ন হয়, যা তুলনা কঠিন করে তোলে। ইনস্টলেশন পাইপের মাধ্যমে গিট রিপোজিটরি থেকে করা হয়; কোনো স্থিতিশীল রিলিজ নেই এবং API পরিবর্তন হতে পারে। প্যাকেজ ইনস্টল করলে ব্যাকএন্ড ইনস্টল হয় না: TensorFlow, TensorFlow Addons এবং TensorBoard আলাদাভাবে ইনস্টল করতে হবে, অতিরিক্ত নির্ভরতা setup.py-তে তালিকাভুক্ত। ব্যবহার baselines/ ডিরেক্টরিকে কেন্দ্র করে, যা প্রশিক্ষণ ডেটাসেট অনুযায়ী সংগঠিত। উদাহরণস্বরূপ, একটি CIFAR ডিটারমিনিস্টিক বেসলাইন হলো Wide ResNet 28-10। বেসলাইন পুনরুত্পাদন করতে প্রায়ই TPU প্রয়োজন, তিনটি বিকল্প বর্ণনা করা হয়েছে: Colab (বিনামূল্যে TPU, সুবিধাজনক কিন্তু দীর্ঘমেয়াদে নিশ্চিত নয়), Google Cloud (সবচেয়ে নমনীয়, উদাহরণ পরিবেশ ভেরিয়েবল এবং BatchEnsemble বেসলাইনের জন্য লঞ্চ কমান্ড সহ), এবং ফ্ল্যাগ পরিবর্তন করে GPU বা কম কোর ব্যবহার করা। README সতর্ক করে যে কোরের সংখ্যা পরিবর্তন করা গুরুত্বপূর্ণ কারণ মোট ব্যাচ সাইজ প্রায়ই num_cores দ্বারা নির্ধারিত হয়। ub.datasets মডিউল TensorFlow Datasets API অনুসরণ করে এবং ডিফল্ট প্রিপ্রসেসিংয়ের মতো ন্যূনতম লজিক যোগ করে। ডেটাসেট সরাসরি বা স্ট্রিং থেকে get ফাংশনের মাধ্যমে ইনস্ট্যান্টিয়েট করা যায়, এবং tfds.as_numpy বা কম-কপি _numpy পাথের মাধ্যমে Jax এবং PyTorch-এর সাথে ব্যবহার করা যায়। ub.models মডিউল tf.keras.Model API অনুসরণ করে, একটি প্রশস্ত ResNet নির্মাণের উদাহরণ সহ। ডেটাসেট জুড়ে সংজ্ঞায়িত মেট্রিকগুলির মধ্যে রয়েছে প্যারামিটার সংখ্যা, পরীক্ষার নির্ভুলতা, পরীক্ষার ক্যালিব্রেশন ত্রুটি (প্রত্যাশিত ক্যালিব্রেশন ত্রুটি), পরীক্ষার নেতিবাচক লগ-সম্ভাবনা এবং প্রশিক্ষণ/পরীক্ষা রানটাইম। ফলাফল প্রায় তিনটি উল্লেখযোগ্য অঙ্কে রিপোর্ট করা হয় এবং দশটি রানের গড় নেওয়া হয়। TensorFlow সারাংশ model_dir-এ TensorBoard-এর জন্য লেখা হয়, হাইপারপ্যারামিটার প্লাগইন সহ, এবং tensorboard.dev-এ আপলোড করা যায়। README-তে একটি BibTeX উদ্ধৃতি এবং কোড ব্যবহার করেছে এমন গবেষণাপত্রের তালিকা রয়েছে। অবদান নির্দেশিকা yapf দিয়ে ফরম্যাটিং, একটি বেসলাইন যোগ করা (একটি স্ক্রিপ্ট ফর্ক করা, ডিফল্ট টিউন করা, টেবিলে ফলাফল যোগ করা), একটি ডেটাসেট যোগ করা (রেফারেন্স, BaseDataset-এর সাবক্লাস, পরীক্ষা, নিবন্ধন) এবং একটি মডেল যোগ করা (রেফারেন্স, create_model ফাংশন, পরীক্ষা, নিবন্ধন) কভার করে।