عن المشروع

يتيح Polymo للمستخدمين تحديد أنابيب استيعاب API من خلال واجهة مستخدم وتصديرها كـ Lakeflow Declarative Pipelines مستقلة. يقوم البرنامج بإنشاء كود Python بسيط يستخدم requests والمكتبة القياسية وpyspark، مما يضمن أن polymo نفسه ليس تبعية وقت تشغيل (runtime dependency) للسكربتات التي تم إنشاؤها. تشمل القدرات الرئيسية ما يلي: - تحديد الأنابيب بناءً على واجهة المستخدم مع معاينات محلية لـ DataFrames والسجلات الخام واستجابات API. - إنشاء كود متخصص لعمليات تقسيم الصفحات (pagination)، والمزامنة التدريجية، والتقسيم (partitioning)، ودفع التصفية (filter pushdown)، ومعالجة الأخطاء، واستجابات XML. - التكامل مع Databricks Asset Bundles لعمليات التمهيد والنشر وتشغيل الأنابيب عبر Databricks CLI. - دعم الإدارة الآمنة لبيانات الاعتماد باستخدام Databricks secret scopes أو Unity Catalog service credentials لتجنب كتابة الأسرار بشكل صريح في الكود. - إمكانية التشغيل عبر pip أو uvx أو Docker.