Об этом проекте

MediaPipe — это проект с открытым исходным кодом от Google AI Edge, предоставляющий возможности машинного обучения на устройстве для живых и потоковых медиа. Согласно README, основная документация для разработчиков переехала на developers.google.com/mediapipe по состоянию на 3 апреля 2023 года, и README репозитория теперь служит в основном указателем на этот сайт. Проект позиционируется как «машинное обучение на устройстве для всех», предлагая инструменты для настройки и развертывания функций машинного обучения на мобильных устройствах (Android, iOS), в вебе, на настольных компьютерах, периферийных устройствах и в Интернете вещей. В README MediaPipe Solutions описывается как набор библиотек и инструментов для применения методов ИИ и машинного обучения в приложениях, которые можно немедленно подключать, настраивать и использовать на различных платформах разработки. Основные компоненты включают: - MediaPipe Tasks: кроссплатформенные API и библиотеки для развертывания решений, с руководствами для разработчиков по задачам зрения (например, обнаружение объектов), текста (например, классификация текста) и аудио (например, классификация аудио), а также руководства по настройке для Android, веб-приложений и Python. - MediaPipe models: предварительно обученные, готовые к запуску модели для каждого решения. - MediaPipe Model Maker: для настройки моделей с использованием собственных данных. - MediaPipe Studio: для визуализации, оценки и бенчмаркинга решений в браузере. В README отмечается, что MediaPipe Solutions Preview является ранним выпуском. Также указано, что поддержка MediaPipe Legacy Solutions прекращена с 1 марта 2023 года, а оставшиеся устаревшие решения будут обновлены до новых MediaPipe Solutions; репозиторий устаревшего кода и предварительно собранные двоичные файлы продолжают предоставляться как есть. Для более низкоуровневой работы MediaPipe Framework описывается как низкоуровневый компонент, используемый для создания эффективных конвейеров машинного обучения на устройстве, аналогичных готовым решениям. Ключевые концепции фреймворка: пакеты (Packets), графы (Graphs) и калькуляторы (Calculators), с установкой и примерами приложений на C++, Android и iOS. Что касается конфиденциальности, в README указано, что при использовании MediaPipe Tasks обработка входных данных, таких как изображения, видео и текст, происходит на устройстве, и MediaPipe не отправляет эти входные данные на серверы Google. Также отмечается, что API MediaPipe Tasks отправляют в Google метрики о производительности и использовании, и что разработчики несут ответственность за получение информированного согласия от пользователей приложений в соответствии с применимым законодательством. Среди упомянутых ресурсов сообщества — Slack-сообщество, группа обсуждения Google и курируемый список «Awesome MediaPipe». Вклад приветствуется через руководство по внесению вклада проекта, а для отслеживания запросов и ошибок используются вопросы GitHub. В README также перечислены многочисленные публикации и канал YouTube в качестве дополнительных ресурсов.