mediapipe

MediaPipe 是 Google AI Edge 的一个开源项目，为实时和流媒体提供设备端机器学习能力。根据 README，自 2023 年 4 月 3 日起，主要开发者文档已移至 developers.google.com/mediapipe，仓库 README 现在主要作为该网站的指引。 该项目定位为“面向所有人的设备端机器学习”，提供工具来定制机器学习功能并将其部署到移动端（Android、iOS）、Web、桌面、边缘设备和物联网。README 将 MediaPipe Solutions 描述为一套在应用程序中应用 AI 和机器学习技术的库和工具，可即插即用、可定制，并可在多个开发平台使用。 描述的核心组件包括： - MediaPipe Tasks：用于部署解决方案的跨平台 API 和库，提供视觉（例如目标检测）、文本（例如文本分类）和音频（例如音频分类）任务的开发者指南，以及 Android、Web 应用和 Python 的设置指南。 - MediaPipe models：为每个解决方案提供的预训练、可直接运行的模型。 - MediaPipe Model Maker：用于使用你自己的数据定制模型。 - MediaPipe Studio：用于在浏览器中可视化、评估和基准测试解决方案。 README 指出，MediaPipe Solutions Preview 是早期版本。它还说明，对 MediaPipe Legacy Solutions 的支持已于 2023 年 3 月 1 日结束，剩余的旧解决方案将升级到新的 MediaPipe Solutions；旧代码仓库和预构建二进制文件将继续按原样提供。 对于较低级别的工作，MediaPipe Framework 被描述为用于构建高效设备端机器学习管道的低级别组件，类似于预制的解决方案。列出的关键框架概念包括 Packets、Graphs 和 Calculators，并提供了 C++、Android 和 iOS 的安装和示例应用。 关于隐私，README 指出，在使用 MediaPipe Tasks 时，输入数据（如图像、视频和文本）的处理在设备上进行，MediaPipe 不会将该输入数据发送到 Google 服务器。它还提到，MediaPipe Tasks API 会向 Google 发送有关性能和利用率的指标，开发者有责任根据适用法律获得应用用户的知情同意。 提到的社区资源包括 Slack 社区、Google 讨论组和一份“Awesome MediaPipe”精选列表。欢迎通过项目的贡献指南做出贡献，GitHub issues 用于跟踪请求和错误。README 还列出了大量出版物和一个 YouTube 频道作为更多资源。