इस प्रोजेक्ट के बारे में

Uncertainty Baselines एक Google अनुसंधान भंडार है जो गहन शिक्षण में अनिश्चितता और मजबूती बेंचमार्किंग के लिए एक टेम्पलेट और संदर्भ कार्यान्वयन प्रदान करता है। इसके बताए गए लक्ष्य मानक कार्यों पर मानक और अत्याधुनिक विधियों के उच्च-गुणवत्ता वाले कार्यान्वयन प्रदान करना, फ़ाइलों के बीच न्यूनतम निर्भरता रखना ताकि बेसलाइन आसानी से फोर्क की जा सकें, और बेंचमार्किंग के लिए सर्वोत्तम प्रथाओं को निर्धारित करना है। प्रेरणा यह है कि अनिश्चितता और मजबूती कोड अक्सर प्रति पेपर एक-बार का होता है, जिसमें निर्माण के लिए कोई साझा उदाहरण नहीं होते हैं, और यहां तक कि मानक कार्य भी आर्किटेक्चर, हाइपरपैरामीटर और प्रीप्रोसेसिंग में भिन्न होते हैं, जिससे तुलना कठिन हो जाती है। स्थापना Git रिपॉजिटरी से pip के माध्यम से होती है; कोई स्थिर रिलीज़ नहीं है और API बदल सकते हैं। पैकेज स्थापित करने से बैकएंड स्थापित नहीं होता है: TensorFlow, TensorFlow Addons और TensorBoard को अलग से स्थापित किया जाना चाहिए, setup.py में अतिरिक्त निर्भरताएँ सूचीबद्ध हैं। उपयोग baselines/ निर्देशिका पर केंद्रित है, जो प्रशिक्षण डेटासेट द्वारा व्यवस्थित है। उदाहरण के लिए, एक CIFAR नियतात्मक बेसलाइन एक Wide ResNet 28-10 है। बेसलाइन को पुन: प्रस्तुत करने के लिए अक्सर TPU की आवश्यकता होती है, जिसमें तीन विकल्प वर्णित हैं: Colab (मुफ्त TPU, सुविधाजनक लेकिन दीर्घकालिक गारंटी नहीं), Google Cloud (सबसे लचीला, उदाहरण पर्यावरण चर और BatchEnsemble बेसलाइन के लिए लॉन्च कमांड के साथ), और GPU या कम कोर का उपयोग करने के लिए फ़्लैग बदलना। README चेतावनी देता है कि कोर की संख्या बदलना मायने रखता है क्योंकि कुल बैच आकार अक्सर num_cores द्वारा निर्धारित होता है। ub.datasets मॉड्यूल TensorFlow Datasets API का पालन करता है और डिफ़ॉल्ट प्रीप्रोसेसिंग जैसे न्यूनतम तर्क जोड़ता है। डेटासेट को सीधे या स्ट्रिंग्स से get फ़ंक्शन के माध्यम से इंस्टेंट किया जा सकता है, और tfds.as_numpy या कम-कॉपी _numpy पथ के माध्यम से Jax और PyTorch के साथ उपयोग किया जा सकता है। ub.models मॉड्यूल tf.keras.Model API का पालन करता है, जिसमें एक विस्तृत ResNet बनाने का उदाहरण है। डेटासेट में परिभाषित मेट्रिक्स में पैरामीटर की संख्या, परीक्षण सटीकता, परीक्षण कैलिब्रेशन त्रुटि (अपेक्षित कैलिब्रेशन त्रुटि), परीक्षण नकारात्मक लॉग-संभावना और प्रशिक्षण/परीक्षण रनटाइम शामिल हैं। परिणाम लगभग तीन महत्वपूर्ण अंकों तक रिपोर्ट किए जाते हैं और दस रनों पर औसत किए जाते हैं। TensorFlow सारांश model_dir में TensorBoard के लिए लिखे जाते हैं, जिसमें हाइपरपैरामीटर प्लगइन शामिल है, और tensorboard.dev पर अपलोड किए जा सकते हैं। README में एक BibTeX उद्धरण शामिल है और उन पेपरों को सूचीबद्ध करता है जिन्होंने कोड का उपयोग किया है। योगदान मार्गदर्शन में yapf के साथ फ़ॉर्मेटिंग, एक बेसलाइन जोड़ना (एक स्क्रिप्ट फोर्क करें, डिफ़ॉल्ट ट्यून करें, तालिका में परिणाम जोड़ें), एक डेटासेट जोड़ना (संदर्भ, BaseDataset का उपवर्ग, परीक्षण, पंजीकरण) और एक मॉडल जोड़ना (संदर्भ, create_model फ़ंक्शन, परीक्षण, पंजीकरण) शामिल है।