প্রকল্প সম্পর্কে

DL Streamer (Deep Learning Streamer) হল GStreamer মাল্টিমিডিয়া ফ্রেমওয়ার্কের উপর নির্মিত একটি ওপেন-সোর্স স্ট্রিমিং মিডিয়া অ্যানালিটিক্স ফ্রেমওয়ার্ক। এটি ভিডিও ও অডিও ইন্টেলিজেন্স পাইপলাইন গঠনের জন্য ডিজাইন করা হয়েছে—একক কমান্ড-লাইন ডিটেকশন উদাহরণ থেকে শুরু করে এজ বা ক্লাউডে মাল্টি-স্ট্রিম, মাল্টি-সেন্সর ডিপ্লয়মেন্ট পর্যন্ত। ইনফারেন্স OpenVINO দ্বারা পরিচালিত হয়, যা Intel CPU, GPU ও NPU হার্ডওয়্যারকে লক্ষ্য করে। পাইপলাইনগুলো সরল স্ট্রিং হিসেবে (অথবা Python/C++ কোডের মাধ্যমে) বর্ণনা করা হয় এবং হার্ডওয়্যার অ্যাক্সিলারেশনসহ কার্যকর করা হয়। প্রজেক্টের সাথে ৩০+ রেডি-টু-রান নমুনা সরবরাহ করা হয়েছে, যেখানে ডিটেকশন, ক্লাসিফিকেশন, ট্র্যাকিং, ভিশন-ল্যাঙ্গুয়েজ মডেল, LiDAR এবং radar প্রসেসিং অন্তর্ভুক্ত। এটি Intel Open Edge Platform-এর অংশ। README-তে হাইলাইট করা মূল সক্ষমতা: - এক-লাইনের পাইপলাইন: একটি কার্যকর ডিটেকশন পাইপলাইন শুধুমাত্র একটি gst-launch-1.0 কমান্ড দিয়ে তৈরি করা যায়। - হার্ডওয়্যার অ্যাক্সিলারেশন: একই কোডবেস Intel প্ল্যাটফর্মে CPU, GPU ও NPU লক্ষ্য করে; ডিভাইস পরিবর্তন শুধুমাত্র একটি প্যারামিটার পরিবর্তন। - VLM ও GenAI সমর্থন: MiniCPM-V, CLIP এবং Whisper-এর মতো ভিশন-ল্যাঙ্গুয়েজ মডেল GStreamer পাইপলাইনের ভেতরে চালানো যায়। - GstAnalytics কমপ্লায়েন্স: অন্যান্য GStreamer-ভিত্তিক টুলের সাথে ইন্টারঅপারেবিলিটির জন্য GStreamer মেটাডেটা স্ট্যান্ডার্ড সমর্থন করে। - মেসেজিং ইন্টিগ্রেশন: বিল্ট-ইন এলিমেন্ট অতিরিক্ত কোড ছাড়াই ইনফারেন্স ফলাফল MQTT বা Kafka-তে প্রকাশ করে। - Python-ফার্স্ট এক্সটেনসিবিলিটি: কাস্টম লজিক Python কলব্যাক বা সম্পূর্ণ Python GStreamer এলিমেন্ট হিসেবে যোগ করা যায়। - মাল্টি-স্ট্রিম, মাল্টি-সেন্সর: এক প্রসেসে অনেক RTSP স্ট্রিম, LiDAR ফ্রেম এবং radar পয়েন্ট ক্লাউডের mux/demux। - মডেল সমর্থন: Geti Studio, Ultralytics, Hugging Face বা যেকোনো ONNX/OpenVINO IR মডেল থেকে মডেল ডিপ্লয় করা যায়। ইনস্টলেশন বিকল্পগুলোর মধ্যে রয়েছে একটি Docker ইমেজ (intel/dlstreamer:latest) এবং Ubuntu 22.04/24.04-এর নেটিভ প্যাকেজ, সাথে Windows 11 সমর্থন। একটি প্রিরিকুইজিট স্ক্রিপ্ট Intel GPU/NPU ড্রাইভার ইনস্টল করে। README মডেল ডাউনলোড, YOLO ডিটেকশন পাইপলাইন চালানো, JSON মেটাডেটা আউটপুট করা এবং GStreamer বাইন্ডিংয়ের মাধ্যমে Python API ব্যবহার করার কুইক-স্টার্ট কমান্ড প্রদান করে। এলিমেন্ট ক্যাটাগরির মধ্যে রয়েছে inference (gvadetect, gvaclassify, gvainference, gvagenai, gvaaudiotranscribe), analytics (gvatrack, gvaanalytics, gvastreammux/demux, gvamotiondetect), output (gvawatermark, gvametaconvert, gvametapublish, gvafpscounter) এবং 3D/sensors (g3dlidarparse, g3dinference, g3dradarprocess)। নমুনাগুলো ডিটেকশন, সেগমেন্টেশন ও পোজ, ট্র্যাকিং, VLM/GenAI, মাল্টি-স্ট্রিম, 3D সেন্সর, ইন্টিগ্রেশন (ONVIF discovery, Geti deployment, MQTT/Kafka) এবং স্মার্ট NVR-এর মতো Python এক্সটেনসিবিলিটিতে বিস্তৃত। তালিকাভুক্ত সমর্থিত হার্ডওয়্যারের মধ্যে রয়েছে Intel Core Ultra সিরিজ 1-3, Intel Arc ডিসক্রিট GPU এবং 11th-13th Gen Intel Core। প্রজেক্টটি MIT লাইসেন্সপ্রাপ্ত এবং অবদানকে স্বাগত জানায়।