इस प्रोजेक्ट के बारे में
Polymo उपयोगकर्ताओं को UI के माध्यम से API इंजेक्शन पाइपलाइन को परिभाषित करने और उन्हें स्टैंडअलोन Lakeflow Declarative Pipelines के रूप में एक्सपोर्ट करने की अनुमति देता है। यह requests, स्टैंडर्ड लाइब्रेरी और pyspark का उपयोग करके प्लेन Python कोड जेनरेट करता है, जिससे यह सुनिश्चित होता है कि polymo स्वयं जेनरेट किए गए स्क्रिप्ट्स की रनटाइम डिपेंडेंसी नहीं है।
मुख्य क्षमताओं में शामिल हैं:
- DataFrames, रॉ रिकॉर्ड्स और API रिस्पॉन्स के लोकल प्रीव्यू के साथ UI-आधारित पाइपलाइन परिभाषा।
- पजिनेशन, इंक्रीमेंटल सिंक, पार्टिशनिंग, फ़िल्टर पुशडाउन, एरर हैंडलिंग और XML रिस्पॉन्स के लिए विशेष कोड का जेनरेशन।
- Databricks CLI के माध्यम से पाइपलाइनों को बूटस्ट्रैपिंग, डिप्लॉय और रन करने के लिए Databricks Asset Bundles के साथ इंटीग्रेशन।
- सीक्रेट्स को हार्डकोड करने से बचने के लिए Databricks secret scopes या Unity Catalog सर्विस क्रेडेंशियल्स का उपयोग करके सुरक्षित क्रेडेंशियल मैनेजमेंट का समर्थन।
- pip, uvx, या Docker के माध्यम से लॉन्च करने की क्षमता।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.