dlstreamer

DL Streamer（深度学习流媒体）是一个基于GStreamer多媒体框架构建的开源流媒体分析框架。它旨在构建视频和音频智能管道，从单命令行检测示例到边缘或云中的多流、多传感器部署。推理由OpenVINO提供支持，针对Intel CPU、GPU和NPU硬件。 管道以简单字符串（或通过Python/C++代码）描述，并通过硬件加速执行。该项目附带30多个即用型示例，涵盖检测、分类、跟踪、视觉语言模型、LiDAR和雷达处理。它是Intel Open Edge Platform的一部分。 README中强调的关键能力： - 一行管道：只需一条gst-launch-1.0命令即可构建可工作的检测管道。 - 硬件加速：同一代码库针对Intel平台上的CPU、GPU和NPU；切换设备只需更改参数。 - VLM和GenAI支持：视觉语言模型（如MiniCPM-V、CLIP和Whisper）可在GStreamer管道内运行。 - GstAnalytics合规性：支持GStreamer元数据标准，以便与其他基于GStreamer的工具互操作。 - 消息集成：内置元素无需额外代码即可将推理结果发布到MQTT或Kafka。 - Python优先的可扩展性：自定义逻辑可作为Python回调或完整的Python GStreamer元素添加。 - 多流、多传感器：在一个进程中复用/解复用多个RTSP流、LiDAR帧和雷达点云。 - 模型支持：部署来自Geti Studio、Ultralytics、Hugging Face或任何ONNX/OpenVINO IR模型的模型。 安装选项包括Docker镜像（intel/dlstreamer:latest）和Ubuntu 22.04/24.04的原生包，以及Windows 11支持。一个前置脚本安装Intel GPU/NPU驱动程序。README提供了模型下载、运行YOLO检测管道、输出JSON元数据以及通过GStreamer绑定使用Python API的快速入门命令。 元素类别包括推理（gvadetect、gvaclassify、gvainference、gvagenai、gvaaudiotranscribe）、分析（gvatrack、gvaanalytics、gvastreammux/demux、gvamotiondetect）、输出（gvawatermark、gvametaconvert、gvametapublish、gvafpscounter）和3D/传感器（g3dlidarparse、g3dinference、g3dradarprocess）。示例涵盖检测、分割和姿态、跟踪、VLM/GenAI、多流、3D传感器、集成（ONVIF发现、Geti部署、MQTT/Kafka）以及Python扩展，如智能NVR。 列出的支持硬件包括Intel Core Ultra系列1-3、Intel Arc独立GPU以及第11-13代Intel Core。该项目采用MIT许可，欢迎贡献。