इस प्रोजेक्ट के बारे में

NVSentinel NVIDIA का एक ओपन-सोर्स प्रोजेक्ट है जो Kubernetes पर GPU इंफ्रास्ट्रक्चर विश्वसनीयता के लिए है। यह एक खराब GPU के कारण ट्रेनिंग रन को चुपचाप दूषित करने या नोड्स को निष्क्रिय छोड़ने की समस्या को हल करता है: सिस्टम फॉल्ट होते ही उनका पता लगाता है, प्रभावित नोड को कॉर्डन और ड्रेन करके वर्कलोड की सुरक्षा करता है, और लक्षित GPU रीसेट या पूर्ण रीबूट के माध्यम से उसे ठीक करता है, बिना मैन्युअल पेजिंग के उसे सेवा में लौटाता है। मुख्य क्षमताएँ: - पता लगाना: DCGM, syslog/journalctl, क्लाउड प्रदाता मेंटेनेंस इवेंट्स, Kubernetes ऑब्जेक्ट मॉनिटरिंग और पैटर्न-आधारित हेल्थ इवेंट विश्लेषण के माध्यम से रीयल-टाइम GPU, NIC और सिस्टम-स्तरीय फॉल्ट डिटेक्शन। - सुरक्षा: दोषपूर्ण नोड को कॉर्डन करें ताकि शेड्यूलर उस पर नया काम न रखे, और वैकल्पिक रूप से मौजूदा वर्कलोड को ड्रेन करें। नोड ड्रेनर को छोड़कर केवल-कॉर्डन मोड संभव है। - उपचार: एक विशेषाधिकार प्राप्त ऑन-नोड जॉब (GPU रीसेट या रीबूट) के माध्यम से स्वचालित मरम्मत, रीबूट के लिए वैकल्पिक क्लाउड प्रदाता API एकीकरण के साथ। - प्रीफ्लाइट (वैकल्पिक): एक init कंटेनर जो जॉब शुरू होने से पहले नोड की तैयारी सत्यापित करता है, Kubernetes गैंग शेड्यूलिंग का उपयोग करके; प्रति नेमस्पेस एक लेबल के माध्यम से सक्षम। आर्किटेक्चर: साझा MongoDB इवेंट स्टोर और Kubernetes API के माध्यम से समन्वित स्वतंत्र मॉड्यूल, कोई सीधा मॉड्यूल-से-मॉड्यूल संचार नहीं। हेल्थ मॉनिटर (GPU, syslog, CSP, NIC, हेल्थ इवेंट्स विश्लेषक, Kubernetes ऑब्जेक्ट मॉनिटर) gRPC के माध्यम से प्लेटफ़ॉर्म कनेक्टर्स को इवेंट भेजते हैं, जो उन्हें संग्रहीत करते हैं और नोड कंडीशन और इवेंट्स को अपडेट करते हैं। फॉल्ट प्रबंधन घटक (फॉल्ट क्वारंटाइन, नोड ड्रेनर, फॉल्ट रेमेडिएशन, जैनिटर) स्टोर से परिवर्तनों को समेटते हैं और Kubernetes API पर कार्य करते हैं। डिज़ाइन प्लगेबल हेल्थ मॉनिटर, ड्रेन रणनीतियों और रेमेडिएशन क्रियाओं के साथ विस्तार योग्य है। पूर्वापेक्षाएँ: Kubernetes 1.34+, Helm 3.0+, DCGM स्टैंडअलोन मोड सक्षम के साथ NVIDIA GPU Operator (dcgm.enabled=true), cert-manager v1.21+, और डेटाबेस के लिए स्थायी स्टोरेज। स्थापना और अपनाना: एक एकल Helm कमांड OCI चार्ट से NVSentinel को स्थापित या अपग्रेड करता है। डिफ़ॉल्ट रूप से केवल हेल्थ मॉनिटरिंग सक्षम है, जो गैर-विघटनकारी है। उपयोगकर्ता Helm मानों के माध्यम से कॉर्डन, ड्रेन, रेमेडिएशन, जैनिटर और प्रीफ्लाइट को धीरे-धीरे सक्षम कर सकते हैं। एक स्थानीय फॉल्ट इंजेक्शन डेमो KIND क्लस्टर में GPU हार्डवेयर के बिना चलता है, सिम्युलेटेड DCGM का उपयोग करके डिटेक्शन, क्वारंटाइन और कॉर्डन प्रदर्शित करता है। समर्थित हार्डवेयर: NVIDIA Volta, Ampere, Hopper, Ada Lovelace और Blackwell आर्किटेक्चर पर मान्य। वितरण विशेष रूप से OCI Helm चार्ट, GHCR कंटेनर इमेज, GitHub Releases और आधिकारिक दस्तावेज़ीकरण साइट के माध्यम से है; कंटेनर इमेज में Sigstore-हस्ताक्षरित CycloneDX SBOM और SLSA बिल्ड प्रोवेनेंस प्रमाणपत्र हैं। प्रोजेक्ट Apache 2.0 के तहत लाइसेंस प्राप्त है और उत्पादन परीक्षण के लिए तैयार बताया गया है, रिलीज़ के बीच API और कॉन्फ़िगरेशन परिवर्तन के अधीन हैं।