منصوبے کے بارے میں

Polymo صارفین کو ایک UI کے ذریعے API ingestion pipelines کی تعریف کرنے اور انہیں اسٹینڈ الون Lakeflow Declarative Pipelines کے طور پر ایکسپورٹ کرنے کی اجازت دیتا ہے۔ یہ requests، اسٹینڈرڈ لائبریری، اور pyspark کا استعمال کرتے ہوئے سادہ Python کوڈ تیار کرتا ہے، جس سے یہ یقینی بنتا ہے کہ polymo خود تیار کردہ اسکرپٹس کی runtime dependency نہیں ہے۔ اہم صلاحیتوں میں شامل ہیں: - DataFrames، خام ریکارڈز، اور API responses کے مقامی پیش نظاروں (previews) کے ساتھ UI پر مبنی پائپ لائن کی تعریف۔ - pagination، incremental sync، partitioning، filter pushdown، error handling، اور XML responses کے لیے مخصوص کوڈ کی تیاری۔ - Databricks CLI کے ذریعے پائپ لائنز کو بوٹ اسٹریپ کرنے، تعینات کرنے اور چلانے کے لیے Databricks Asset Bundles کے ساتھ انٹیگریشن۔ - سیکریٹس کو ہارڈ کوڈ کرنے سے بچنے کے لیے Databricks secret scopes یا Unity Catalog service credentials کا استعمال کرتے ہوئے محفوظ کریڈنشل مینجمنٹ کی سپورٹ۔ - pip، uvx، یا Docker کے ذریعے لانچ کرنے کی صلاحیت۔