sam2

SAM 2 (Segment Anything Model 2) は、Meta AI / FAIR による画像と動画の両方でプロンプト可能な視覚セグメンテーションのための基盤モデルです。元の SAM のアプローチを拡張し、画像を単一フレームの動画として扱い、ストリーミングメモリを備えたトランスフォーマーアーキテクチャを使用して、リアルタイムの動画処理を実現します。このリポジトリは、公式の推論コード、ダウンロード可能な学習済みチェックポイント、サンプルノートブック、トレーニング/ファインチューニングコード、およびローカルにデプロイ可能なWebデモを提供します。 README に記載されている主な機能は以下のとおりです。 - 画像予測: SAM2ImagePredictor クラスは、静的画像に対するプロンプトベースのセグメンテーション（自動マスク生成を含む）のために、SAM と同様のインターフェースを提供します。 - 動画予測: ビデオ予測器は、ポイントまたはボックスプロンプトの追加、それらの調整、および動画全体にわたるマスクレットの伝播をサポートし、マルチオブジェクト追跡とオブジェクトごとの推論状態を備えています。 - モデルチェックポイント: 2024年9月にリリースされた SAM 2.1 チェックポイント（tiny、small、base_plus、large）に加え、2024年7月の初期 SAM 2 チェックポイントも含まれ、SA-V、MOSE、LVOS v2 でのサイズ、速度、ベンチマーク数値が報告されています。 - Hugging Face での読み込み: 画像予測器と動画予測器の両方で、from_pretrained を使用してモデルを読み込むことができます。 - トレーニングとファインチューニング: カスタム画像、動画、または混合データセットでのトレーニングまたはファインチューニング用のコードが提供されています。 - Webデモ: ホスト型 SAM 2 デモと同様の、ローカルにデプロイ可能なデモ用のフロントエンドおよびバックエンドコード。 - SA-V データセット: これまでで最大の動画セグメンテーションデータセットであり、モデルインザループのデータエンジンで構築されています。データセットのドキュメントも含まれています。 インストールには、Python 3.10+、PyTorch 2.5.1+、TorchVision 0.20.1+ が必要で、カスタムカーネルのコンパイルには CUDA ツールキットが必要です。Windows ユーザーは WSL の使用を推奨されています。オプションの追加機能として、ノートブック用に Jupyter と matplotlib をインストールします。README には、CUDA 拡張機能のビルドが失敗した場合は無視してよく、後処理への影響は限定的であると記載されています。2024年12月のアップデートでは、動画オブジェクトセグメンテーションを高速化するための完全なモデルコンパイルと、オブジェクトごとの独立した推論をサポートし、トラッキング開始後に新しいオブジェクトを追加できる更新版 SAM2VideoPredictor が追加されました。 ライセンス: モデルチェックポイント、デモコード、トレーニングコードは Apache 2.0 の下にあります。Inter Font と Noto Color Emoji は SIL Open Font License 1.1 の下にあります。サードパーティの GPU 連結成分コードは、cc_torch から適応され、独自のライセンスファイルが付属しています。