pathway

पैथवे पायथन का एक लाइव डेटा फ्रेमवर्क है जो एक ही API के माध्यम से स्ट्रीमिंग और बैच दोनों प्रकार के डेटा प्रोसेसिंग को संभालता है। यह इंक्रीमेंटल कंप्यूटेशन के लिए डिफरेंशियल डेटाफ्लो का उपयोग करते हुए रस्ट इंजन पर बनाया गया है, जिससे डेटा आने के साथ ही पाइपलाइन को रीयल-टाइम में अपडेट किया जा सकता है। इस फ्रेमवर्क में काफ्का, पोस्टग्रेएसक्यूएल, गूगल ड्राइव, शेयरपॉइंट और एअरबाइट (300+ सोर्स) के लिए कनेक्टर उपलब्ध हैं, साथ ही पायथन के माध्यम से कस्टम कनेक्टर का समर्थन भी मिलता है। एआई पाइपलाइन के लिए, पैथवे में एलएलएम एक्सपैक शामिल है जिसमें प्रमुख एलएलएम सर्विसेस, एमबेडर्स, स्प्लिटर्स, पार्सर और इन-मेमोरी रीयल-टाइम वेक्टर इंडेक्स के लिए रैपर मौजूद हैं। यह रैग एप्लीकेशन के लिए लैंगचेन और लैमाइंडेक्स के साथ इंटीग्रेट होता है। स्टेटफुल ट्रांसफॉर्मेशन में जोइन, विंडोइंग और सॉर्टिंग शामिल है, और इसमें किसी भी पायथन फंक्शन या लाइब्रेरी का समर्थन मिलता है। पर्सिस्टेंस की मदद से क्रैश या अपडेट के बाद पाइपलाइन को फिर से शुरू किया जा सकता है। कंसिस्टेंसी फ्री वर्जन में एटलीस्ट-वन्स और एंटरप्राइज टियर में एक्झैक्टली-वन्स होती है। डिप्लॉयमेंट विकल्पों में `pw.run()` के माध्यम से लोकल एक्सीक्यूशन, डॉकर और कुबेरनेटिस शामिल हैं। मॉनिटरिंग डैशबोर्ड हर कनेक्टर के मैसेज थ्रूपुट और लेटेंसी दिखाता है। इंजन आउट ऑफ द बॉक्स मल्टीथ्रेडिंग, मल्टीप्रोसेसिंग और डिस्ट्रिब्यूटेड कंप्यूटेशन का समर्थन करता है।