dlstreamer

DL Streamer (Deep Learning Streamer) é uma estrutura de análise de mídia de streaming de código aberto baseada na estrutura multimídia GStreamer. Foi projetada para construir pipelines de inteligência de vídeo e áudio, desde um exemplo de detecção de linha de comando única até implantações multi-stream e multi-sensor na borda ou na nuvem. A inferência é impulsionada pelo OpenVINO, com foco em hardware Intel CPU, GPU e NPU. Os pipelines são descritos como strings simples (ou via código Python/C++) e executados com aceleração de hardware. O projeto vem com mais de 30 exemplos prontos para execução, abrangendo detecção, classificação, rastreamento, modelos de visão-linguagem, processamento LiDAR e radar. Faz parte da Intel Open Edge Platform. Principais capacidades destacadas no README: - Pipelines de uma linha: um pipeline de detecção funcional pode ser construído com um único comando gst-launch-1.0. - Aceleração de hardware: a mesma base de código tem como alvo CPU, GPU e NPU em plataformas Intel; trocar de dispositivo é uma mudança de parâmetro. - Suporte a VLM e GenAI: modelos de visão-linguagem como MiniCPM-V, CLIP e Whisper podem ser executados dentro de um pipeline GStreamer. - Conformidade com GstAnalytics: suporta o padrão de metadados GStreamer para interoperabilidade com outras ferramentas baseadas em GStreamer. - Integração de mensagens: elementos integrados publicam resultados de inferência em MQTT ou Kafka sem código extra. - Extensibilidade com foco em Python: lógica personalizada pode ser adicionada como callbacks Python ou elementos GStreamer Python completos. - Multi-stream, multi-sensor: mux/demux de muitos streams RTSP, quadros LiDAR e nuvens de pontos de radar em um único processo. - Suporte a modelos: implante modelos do Geti Studio, Ultralytics, Hugging Face ou qualquer modelo ONNX/OpenVINO IR. As opções de instalação incluem uma imagem Docker (intel/dlstreamer:latest) e pacotes nativos para Ubuntu 22.04/24.04, além de suporte ao Windows 11. Um script de pré-requisitos instala drivers Intel GPU/NPU. O README fornece comandos de início rápido para download de modelos, execução de um pipeline de detecção YOLO, saída de metadados JSON e uso da API Python via bindings GStreamer. As categorias de elementos incluem inferência (gvadetect, gvaclassify, gvainference, gvagenai, gvaaudiotranscribe), análise (gvatrack, gvaanalytics, gvastreammux/demux, gvamotiondetect), saída (gvawatermark, gvametaconvert, gvametapublish, gvafpscounter) e 3D/sensores (g3dlidarparse, g3dinference, g3dradarprocess). Os exemplos abrangem detecção, segmentação e pose, rastreamento, VLM/GenAI, multi-stream, sensores 3D, integração (descoberta ONVIF, implantação Geti, MQTT/Kafka) e extensibilidade Python, como um NVR inteligente. O hardware suportado listado inclui Intel Core Ultra séries 1-3, GPUs discretas Intel Arc e Intel Core de 11ª a 13ª geração. O projeto é licenciado sob MIT e aceita contribuições.