mediapipe

MediaPipe es un proyecto de código abierto de Google AI Edge que proporciona capacidades de aprendizaje automático en el dispositivo para medios en vivo y en streaming. Según el README, la documentación principal para desarrolladores se ha trasladado a developers.google.com/mediapipe a partir del 3 de abril de 2023, y el README del repositorio ahora sirve principalmente como un enlace a ese sitio. El proyecto se presenta como "aprendizaje automático en el dispositivo para todos", y ofrece herramientas para personalizar e implementar funciones de ML en dispositivos móviles (Android, iOS), web, escritorio, dispositivos periféricos e IoT. El README describe MediaPipe Solutions como un conjunto de bibliotecas y herramientas para aplicar técnicas de IA y ML en aplicaciones, que se pueden integrar de inmediato, personalizar y utilizar en múltiples plataformas de desarrollo. Los componentes principales descritos incluyen: - MediaPipe Tasks: API y bibliotecas multiplataforma para implementar soluciones, con guías para desarrolladores para tareas de visión (p. ej., detección de objetos), texto (p. ej., clasificación de texto) y audio (p. ej., clasificación de audio), además de guías de configuración para Android, aplicaciones web y Python. - MediaPipe models: modelos preentrenados y listos para ejecutar para cada solución. - MediaPipe Model Maker: para personalizar modelos con tus propios datos. - MediaPipe Studio: para visualizar, evaluar y comparar soluciones en el navegador. El README señala que MediaPipe Solutions Preview es una versión temprana. También indica que el soporte para MediaPipe Legacy Solutions finalizó el 1 de marzo de 2023, y que las soluciones heredadas restantes se actualizarán a las nuevas MediaPipe Solutions; el repositorio de código heredado y los binarios precompilados se siguen proporcionando tal cual. Para trabajo de nivel más bajo, MediaPipe Framework se describe como el componente de bajo nivel utilizado para construir canalizaciones eficientes de aprendizaje automático en el dispositivo, similar a las soluciones predefinidas. Los conceptos clave del framework enumerados son Packets, Graphs y Calculators, con instalación y aplicaciones de ejemplo en C++, Android e iOS. En cuanto a la privacidad, el README afirma que al usar MediaPipe Tasks, el procesamiento de los datos de entrada, como imágenes, video y texto, se realiza en el dispositivo, y MediaPipe no envía esos datos de entrada a los servidores de Google. También señala que las API de MediaPipe Tasks envían métricas sobre rendimiento y utilización a Google, y que los desarrolladores son responsables de obtener el consentimiento informado de los usuarios de la aplicación según lo exija la ley aplicable. Los recursos comunitarios mencionados incluyen una comunidad de Slack, un grupo de discusión de Google y una lista curada "Awesome MediaPipe". Las contribuciones son bienvenidas a través de las pautas de contribución del proyecto, y los problemas de GitHub se utilizan para rastrear solicitudes y errores. El README también enumera numerosas publicaciones y un canal de YouTube como recursos adicionales.