mediapipe

MediaPipe é um projeto de código aberto do Google AI Edge que fornece recursos de aprendizado de máquina no dispositivo para mídia ao vivo e streaming. De acordo com o README, a documentação principal para desenvolvedores foi movida para developers.google.com/mediapipe em 3 de abril de 2023, e o README do repositório agora serve principalmente como um ponteiro para esse site. O projeto é posicionado como "aprendizado de máquina no dispositivo para todos", oferecendo ferramentas para personalizar e implantar recursos de ML em dispositivos móveis (Android, iOS), web, desktop, dispositivos de borda e IoT. O README descreve o MediaPipe Solutions como um conjunto de bibliotecas e ferramentas para aplicar técnicas de IA e ML em aplicativos, que podem ser integradas imediatamente, personalizadas e usadas em várias plataformas de desenvolvimento. Os componentes principais descritos incluem: - MediaPipe Tasks: APIs e bibliotecas multiplataforma para implantar soluções, com guias de desenvolvedor para tarefas de visão (por exemplo, detecção de objetos), texto (por exemplo, classificação de texto) e áudio (por exemplo, classificação de áudio), além de guias de configuração para Android, aplicativos web e Python. - MediaPipe models: modelos pré-treinados e prontos para execução para cada solução. - MediaPipe Model Maker: para personalizar modelos com seus próprios dados. - MediaPipe Studio: para visualizar, avaliar e comparar soluções no navegador. O README observa que o MediaPipe Solutions Preview é uma versão inicial. Ele também afirma que o suporte para o MediaPipe Legacy Solutions terminou em 1º de março de 2023, com as soluções legadas restantes devendo ser atualizadas para as novas MediaPipe Solutions; o repositório de código legado e os binários pré-compilados continuam sendo fornecidos no estado em que se encontram. Para trabalhos de nível mais baixo, o MediaPipe Framework é descrito como o componente de baixo nível usado para construir pipelines eficientes de aprendizado de máquina no dispositivo, semelhantes às soluções prontas. Os principais conceitos do framework listados são Packets, Graphs e Calculators, com instalação e exemplos de aplicativos em C++, Android e iOS. Sobre privacidade, o README afirma que, ao usar o MediaPipe Tasks, o processamento de dados de entrada, como imagens, vídeo e texto, ocorre no dispositivo, e o MediaPipe não envia esses dados de entrada para os servidores do Google. Ele também observa que as APIs do MediaPipe Tasks enviam métricas sobre desempenho e utilização para o Google, e que os desenvolvedores são responsáveis por obter consentimento informado dos usuários do aplicativo, conforme exigido pela lei aplicável. Os recursos da comunidade mencionados incluem uma comunidade no Slack, um grupo de discussão do Google e uma lista selecionada "Awesome MediaPipe". As contribuições são bem-vindas por meio das diretrizes de contribuição do projeto, e as issues do GitHub são usadas para acompanhar solicitações e bugs. O README também lista diversas publicações e um canal no YouTube como recursos adicionais.