इस प्रोजेक्ट के बारे में

MediaPipe Google AI Edge का एक ओपन-सोर्स प्रोजेक्ट है जो लाइव और स्ट्रीमिंग मीडिया के लिए ऑन-डिवाइस मशीन लर्निंग क्षमताएं प्रदान करता है। README के अनुसार, मुख्य डेवलपर डॉक्यूमेंटेशन 3 अप्रैल 2023 से developers.google.com/mediapipe पर चला गया है, और रिपॉजिटरी README अब मुख्य रूप से उस साइट के लिए एक पॉइंटर के रूप में कार्य करता है। प्रोजेक्ट को "सभी के लिए ऑन-डिवाइस मशीन लर्निंग" के रूप में पोजीशन किया गया है, जो मोबाइल (Android, iOS), वेब, डेस्कटॉप, एज डिवाइस और IoT पर ML फीचर्स को कस्टमाइज और डिप्लॉय करने के लिए टूल्स प्रदान करता है। README में MediaPipe Solutions को एप्लिकेशन में AI और ML तकनीकों को लागू करने के लिए लाइब्रेरी और टूल्स के एक सूट के रूप में वर्णित किया गया है, जिन्हें तुरंत प्लग इन किया जा सकता है, कस्टमाइज किया जा सकता है और कई डेवलपमेंट प्लेटफॉर्म पर उपयोग किया जा सकता है। वर्णित मुख्य घटक निम्नलिखित हैं: - MediaPipe Tasks: समाधानों को डिप्लॉय करने के लिए क्रॉस-प्लेटफॉर्म APIs और लाइब्रेरी, जिसमें विजन (जैसे ऑब्जेक्ट डिटेक्शन), टेक्स्ट (जैसे टेक्स्ट क्लासिफिकेशन) और ऑडियो (जैसे ऑडियो क्लासिफिकेशन) कार्यों के लिए डेवलपर गाइड्स, और Android, वेब ऐप्स और Python के लिए सेटअप गाइड्स शामिल हैं। - MediaPipe models: प्रत्येक समाधान के लिए प्री-ट्रेन्ड, रेडी-टू-रन मॉडल्स। - MediaPipe Model Maker: अपने स्वयं के डेटा के साथ मॉडल्स को कस्टमाइज करने के लिए। - MediaPipe Studio: ब्राउज़र में समाधानों को विज़ुअलाइज़, इवैल्यूएट और बेन्चमार्क करने के लिए। README में नोट किया गया है कि MediaPipe Solutions Preview एक अर्ली रिलीज है। यह भी बताया गया है कि 1 मार्च 2023 से MediaPipe Legacy Solutions का समर्थन समाप्त हो गया है, और शेष लीगेसी समाधानों को नए MediaPipe Solutions में अपग्रेड किया जाएगा; लीगेसी कोड रिपॉजिटरी और प्रीबिल्ट बाइनरीज़ को 'अस-इज़' आधार पर प्रदान करना जारी रखा गया है। कम स्तर के कार्यों के लिए, MediaPipe Framework को कुशल ऑन-डिवाइस मशीन लर्निंग पाइपलाइन बनाने के लिए उपयोग किए जाने वाले लो-लेवल कंपोनेंट के रूप में वर्णित किया गया है, जो प्रीमेड समाधानों के समान है। मुख्य फ्रेमवर्क अवधारणाओं में Packets, Graphs, और Calculators शामिल हैं, जिनके लिए C++, Android और iOS में इंस्टॉलेशन और उदाहरण एप्लिकेशन उपलब्ध हैं। गोपनीयता के बारे में, README में कहा गया है कि जब MediaPipe Tasks का उपयोग किया जाता है, तो इनपुट डेटा जैसे इमेज, वीडियो और टेक्स्ट का प्रोसेसिंग डिवाइस पर ही होता है, और MediaPipe उस इनपुट डेटा को Google सर्वर पर नहीं भेजता है। यह भी नोट किया गया है कि MediaPipe Tasks APIs प्रदर्शन और उपयोग के बारे में मेट्रिक्स Google को भेजते हैं, और डेवलपर्स लागू कानूनों के अनुसार ऐप उपयोगकर्ताओं से सूचित सहमति प्राप्त करने के लिए जिम्मेदार हैं। उल्लिखित कम्युनिटी संसाधनों में एक Slack कम्युनिटी, एक Google डिस्कशन ग्रुप, और एक "Awesome MediaPipe" क्यूरेटेड सूची शामिल है। प्रोजेक्ट की योगदान दिशा-निर्देशों के माध्यम से योगदान का स्वागत किया जाता है, और अनुरोधों और बग्स को ट्रैक करने के लिए GitHub इशूज़ का उपयोग किया जाता है। README में आगे के संसाधनों के रूप में numerous प्रकाशनों और एक YouTube चैनल की भी सूची दी गई है।