عن المشروع

DL Streamer (Deep Learning Streamer) هو إطار عمل مفتوح المصدر لتحليلات الوسائط المتدفقة مبني على إطار عمل الوسائط المتعددة GStreamer. وهو مصمم لبناء خطوط معالجة ذكاء الفيديو والصوت، بدءاً من مثال كشف واحد عبر سطر الأوامر وصولاً إلى عمليات نشر متعددة التدفقات ومتعددة المستشعرات على الحافة أو في السحابة. يعتمد الاستدلال على OpenVINO، ويستهدف عتاد Intel CPU وGPU وNPU. يتم وصف خطوط المعالجة كسلاسل نصية بسيطة (أو عبر كود Python/C++) وتُنفَّذ مع تسريع عتادي. يأتي المشروع مع أكثر من 30 نموذجاً جاهزاً للتشغيل تغطي الكشف والتصنيف والتتبع ونماذج الرؤية واللغة ومعالجة LiDAR والرادار. وهو جزء من Intel Open Edge Platform. القدرات الرئيسية المذكورة في README: - خطوط معالجة بسطر واحد: يمكن بناء خط كشف عامل بأمر gst-launch-1.0 واحد. - تسريع عتادي: تستهدف قاعدة الكود نفسها CPU وGPU وNPU على منصات Intel؛ وتغيير الجهاز هو مجرد تغيير معامل. - دعم VLM وGenAI: يمكن تشغيل نماذج الرؤية واللغة مثل MiniCPM-V وCLIP وWhisper داخل خط معالجة GStreamer. - التوافق مع GstAnalytics: يدعم معيار البيانات الوصفية في GStreamer للتشغيل البيني مع أدوات أخرى مبنية على GStreamer. - تكامل المراسلة: تنشر العناصر المدمجة نتائج الاستدلال إلى MQTT أو Kafka دون كود إضافي. - قابلية التوسيع بالاعتماد على Python أولاً: يمكن إضافة منطق مخصص كاستدعاءات Python أو عناصر GStreamer كاملة بلغة Python. - متعدد التدفقات ومتعدد المستشعرات: دمج/فصل العديد من تدفقات RTSP وإطارات LiDAR وسحب نقاط الرادار في عملية واحدة. - دعم النماذج: نشر نماذج من Geti Studio أو Ultralytics أو Hugging Face أو أي نموذج ONNX/OpenVINO IR. تشمل خيارات التثبيت صورة Docker (intel/dlstreamer:latest) وحزم أصلية لـ Ubuntu 22.04/24.04، بالإضافة إلى دعم Windows 11. ويقوم سكربت للمتطلبات المسبقة بتثبيت تعريفات Intel GPU/NPU. يوفر README أوامر بدء سريع لتنزيل النماذج وتشغيل خط كشف YOLO وإخراج بيانات وصفية JSON واستخدام واجهة Python عبر ارتباطات GStreamer. تشمل فئات العناصر الاستدلال (gvadetect، gvaclassify، gvainference، gvagenai، gvaaudiotranscribe) والتحليلات (gvatrack، gvaanalytics، gvastreammux/demux، gvamotiondetect) والإخراج (gvawatermark، gvametaconvert، gvametapublish، gvafpscounter) والمستشعرات ثلاثية الأبعاد (g3dlidarparse، g3dinference، g3dradarprocess). تمتد النماذج عبر الكشف والتقسيم والوضعية والتتبع وVLM/GenAI ومتعدد التدفقات والمستشعرات ثلاثية الأبعاد والتكامل (اكتشاف ONVIF ونشر Geti وMQTT/Kafka) وقابلية التوسيع بلغة Python مثل NVR الذكي. يشمل العتاد المدعوم المذكور سلسلة Intel Core Ultra من 1 إلى 3 ووحدات GPU المنفصلة Intel Arc ومعالجات Intel Core من الجيل 11 إلى 13. المشروع مرخص بموجب MIT ويرحب بالمساهمات.