dlstreamer

DL Streamer（Deep Learning Streamer）は、GStreamerマルチメディアフレームワーク上に構築されたオープンソースのストリーミングメディア分析フレームワークです。単一のコマンドライン検出例から、エッジやクラウドでのマルチストリーム・マルチセンサー展開まで、映像および音声インテリジェンスパイプラインを構築するために設計されています。推論はOpenVINOによって実行され、Intel CPU、GPU、NPUハードウェアを対象としています。 パイプラインは単純な文字列（またはPython/C++コード）として記述され、ハードウェアアクセラレーションで実行されます。このプロジェクトには、検出、分類、トラッキング、視覚言語モデル、LiDARおよびレーダー処理をカバーする30以上のすぐに実行可能なサンプルが付属しています。これはIntel Open Edge Platformの一部です。 READMEで強調されている主な機能: - ワンラインパイプライン: 動作する検出パイプラインは、単一のgst-launch-1.0コマンドで構築できます。 - ハードウェアアクセラレーション: 同じコードベースがIntelプラットフォーム上のCPU、GPU、NPUを対象とし、デバイスの切り替えはパラメータ変更のみです。 - VLMおよびGenAIサポート: MiniCPM-V、CLIP、Whisperなどの視覚言語モデルをGStreamerパイプライン内で実行できます。 - GstAnalytics準拠: 他のGStreamerベースのツールとの相互運用性のために、GStreamerメタデータ標準をサポートします。 - メッセージング統合: 組み込み要素が追加コードなしで推論結果をMQTTまたはKafkaに公開します。 - Pythonファーストの拡張性: カスタムロジックをPythonコールバックまたは完全なPython GStreamer要素として追加できます。 - マルチストリーム、マルチセンサー: 多数のRTSPストリーム、LiDARフレーム、レーダーポイントクラウドを1つのプロセスで多重化/分離できます。 - モデルサポート: Geti Studio、Ultralytics、Hugging Face、または任意のONNX/OpenVINO IRモデルからモデルをデプロイできます。 インストールオプションには、Dockerイメージ（intel/dlstreamer:latest）とUbuntu 22.04/24.04用のネイティブパッケージ、さらにWindows 11のサポートが含まれます。前提条件スクリプトがIntel GPU/NPUドライバーをインストールします。READMEには、モデルのダウンロード、YOLO検出パイプラインの実行、JSONメタデータの出力、GStreamerバインディングを介したPython APIの使用のためのクイックスタートコマンドが記載されています。 要素カテゴリには、推論（gvadetect、gvaclassify、gvainference、gvagenai、gvaaudiotranscribe）、分析（gvatrack、gvaanalytics、gvastreammux/demux、gvamotiondetect）、出力（gvawatermark、gvametaconvert、gvametapublish、gvafpscounter）、3D/センサー（g3dlidarparse、g3dinference、g3dradarprocess）が含まれます。サンプルは、検出、セグメンテーションとポーズ、トラッキング、VLM/GenAI、マルチストリーム、3Dセンサー、統合（ONVIFディスカバリ、Getiデプロイ、MQTT/Kafka）、およびスマートNVRなどのPython拡張性に及びます。 サポートされるハードウェアには、Intel Core Ultraシリーズ1〜3、Intel ArcディスクリートGPU、第11〜13世代Intel Coreが含まれます。このプロジェクトはMITライセンスで、コントリビューションを歓迎しています。