mediapipe

MediaPipeは、Google AI Edgeによるオープンソースプロジェクトで、ライブおよびストリーミングメディア向けのオンデバイス機械学習機能を提供します。READMEによると、2023年4月3日時点で主要な開発者向けドキュメントはdevelopers.google.com/mediapipeに移転し、リポジトリのREADMEは主にそのサイトへのポインタとして機能しています。 このプロジェクトは「すべての人のためのオンデバイス機械学習」として位置付けられており、ML機能をモバイル（Android、iOS）、Web、デスクトップ、エッジデバイス、IoTにカスタマイズして展開するためのツールを提供します。READMEでは、MediaPipe Solutionsを、アプリケーションにAIおよびML技術を適用するためのライブラリとツールのスイートであり、すぐにプラグインでき、カスタマイズでき、複数の開発プラットフォームで使用できるものと説明しています。 説明されているコアコンポーネントは次のとおりです。 - MediaPipe Tasks: ソリューションを展開するためのクロスプラットフォームAPIおよびライブラリ。ビジョン（例：オブジェクト検出）、テキスト（例：テキスト分類）、オーディオ（例：オーディオ分類）タスクの開発者ガイドに加え、Android、Webアプリ、Pythonのセットアップガイドを提供します。 - MediaPipe models: 各ソリューション向けの、事前トレーニング済みですぐに実行できるモデル。 - MediaPipe Model Maker: 独自のデータでモデルをカスタマイズするため。 - MediaPipe Studio: ブラウザでソリューションを視覚化、評価、ベンチマークするため。 READMEは、MediaPipe Solutions Previewが初期リリースであることを述べています。また、MediaPipe Legacy Solutionsのサポートは2023年3月1日をもって終了し、残りのレガシーソリューションは新しいMediaPipe Solutionsにアップグレードされる予定であると述べています。レガシーコードリポジトリとプリビルドバイナリは、現状のまま提供され続けます。 より低レベルの作業については、MediaPipe Frameworkは、既製のソリューションと同様に、効率的なオンデバイス機械学習パイプラインを構築するために使用される低レベルコンポーネントとして説明されています。主要なフレームワークの概念として、Packets、Graphs、Calculatorsが挙げられており、C++、Android、iOSでのインストールとサンプルアプリケーションが提供されています。 プライバシーについて、READMEは、MediaPipe Tasksを使用する場合、画像、ビデオ、テキストなどの入力データの処理はデバイス上で行われ、MediaPipeはその入力データをGoogleサーバーに送信しないと述べています。また、MediaPipe Tasks APIはパフォーマンスと利用状況に関するメトリクスをGoogleに送信すること、開発者は適用法で要求される場合、アプリユーザーからインフォームドコンセントを得る責任があることも述べています。 言及されているコミュニティリソースには、Slackコミュニティ、Googleディスカッショングループ、キュレーションされた「Awesome MediaPipe」リストが含まれます。貢献はプロジェクトの貢献ガイドラインを通じて歓迎されており、GitHub Issuesはリクエストとバグの追跡に使用されています。READMEには、多数の出版物とYouTubeチャンネルも追加リソースとしてリストされています。