इस प्रोजेक्ट के बारे में

DL Streamer (Deep Learning Streamer) GStreamer मल्टीमीडिया फ्रेमवर्क पर निर्मित एक ओपन-सोर्स स्ट्रीमिंग मीडिया एनालिटिक्स फ्रेमवर्क है। इसे वीडियो और ऑडियो इंटेलिजेंस पाइपलाइन बनाने के लिए डिज़ाइन किया गया है, जो एक सिंगल कमांड-लाइन डिटेक्शन उदाहरण से लेकर एज या क्लाउड में मल्टी-स्ट्रीम, मल्टी-सेंसर डिप्लॉयमेंट तक फैला है। अनुमान OpenVINO द्वारा संचालित होता है, जो Intel CPU, GPU और NPU हार्डवेयर को लक्षित करता है। पाइपलाइन को साधारण स्ट्रिंग्स (या Python/C++ कोड के माध्यम से) के रूप में वर्णित किया जाता है और हार्डवेयर त्वरण के साथ निष्पादित किया जाता है। इस प्रोजेक्ट में 30+ तैयार-चलाने-योग्य नमूने शामिल हैं जो डिटेक्शन, क्लासिफिकेशन, ट्रैकिंग, विज़न-लैंग्वेज मॉडल, LiDAR और रडार प्रोसेसिंग को कवर करते हैं। यह Intel Open Edge Platform का हिस्सा है। README में हाइलाइट की गई प्रमुख क्षमताएं: - वन-लाइन पाइपलाइन: एक कार्यशील डिटेक्शन पाइपलाइन को एकल gst-launch-1.0 कमांड से बनाया जा सकता है। - हार्डवेयर त्वरण: एक ही कोडबेस Intel प्लेटफॉर्म पर CPU, GPU और NPU को लक्षित करता है; डिवाइस बदलना एक पैरामीटर परिवर्तन है। - VLM और GenAI समर्थन: MiniCPM-V, CLIP और Whisper जैसे विज़न-लैंग्वेज मॉडल GStreamer पाइपलाइन के अंदर चल सकते हैं। - GstAnalytics अनुपालन: अन्य GStreamer-आधारित टूल्स के साथ इंटरऑपरेबिलिटी के लिए GStreamer मेटाडेटा मानक का समर्थन करता है। - मैसेजिंग एकीकरण: बिल्ट-इन एलिमेंट्स अतिरिक्त कोड के बिना अनुमान परिणामों को MQTT या Kafka पर प्रकाशित करते हैं। - Python-फर्स्ट एक्स्टेंसिबिलिटी: कस्टम लॉजिक को Python कॉलबैक या पूर्ण Python GStreamer एलिमेंट्स के रूप में जोड़ा जा सकता है। - मल्टी-स्ट्रीम, मल्टी-सेंसर: एक प्रोसेस में कई RTSP स्ट्रीम, LiDAR फ्रेम और रडार पॉइंट क्लाउड का मक्स/डिमक्स। - मॉडल समर्थन: Geti Studio, Ultralytics, Hugging Face, या किसी भी ONNX/OpenVINO IR मॉडल से मॉडल डिप्लॉय करें। इंस्टॉलेशन विकल्पों में एक Docker इमेज (intel/dlstreamer:latest) और Ubuntu 22.04/24.04 के लिए नेटिव पैकेज शामिल हैं, साथ ही Windows 11 समर्थन भी। एक प्रीरिक्विज़िट स्क्रिप्ट Intel GPU/NPU ड्राइवर इंस्टॉल करती है। README में मॉडल डाउनलोड, YOLO डिटेक्शन पाइपलाइन चलाने, JSON मेटाडेटा आउटपुट करने और GStreamer बाइंडिंग्स के माध्यम से Python API का उपयोग करने के लिए क्विक-स्टार्ट कमांड दिए गए हैं। एलिमेंट श्रेणियों में इन्फरेंस (gvadetect, gvaclassify, gvainference, gvagenai, gvaaudiotranscribe), एनालिटिक्स (gvatrack, gvaanalytics, gvastreammux/demux, gvamotiondetect), आउटपुट (gvawatermark, gvametaconvert, gvametapublish, gvafpscounter) और 3D/सेंसर (g3dlidarparse, g3dinference, g3dradarprocess) शामिल हैं। नमूने डिटेक्शन, सेगमेंटेशन और पोज़, ट्रैकिंग, VLM/GenAI, मल्टी-स्ट्रीम, 3D सेंसर, एकीकरण (ONVIF डिस्कवरी, Geti डिप्लॉयमेंट, MQTT/Kafka) और Python एक्स्टेंसिबिलिटी जैसे स्मार्ट NVR में फैले हुए हैं। सूचीबद्ध समर्थित हार्डवेयर में Intel Core Ultra सीरीज़ 1-3, Intel Arc डिस्क्रीट GPU और 11वीं-13वीं जनरेशन Intel Core शामिल हैं। यह प्रोजेक्ट MIT लाइसेंस के अंतर्गत है और योगदान का स्वागत करता है।