اوپن سورس۔ نئے امکانات۔

Flow ایک واحد-بائنری، اعلیٰ کارکردگی کا ETL انجن اور ورکفلو آرکیسٹریٹر ہے جو Go میں لکھا گیا ہے۔ اس میں ایک ایمبیڈڈ بصری ویب بلڈر، ڈیکلریٹیو XML پائپ لائنز، کراس-ڈیٹا بیس سپورٹ، اور بلٹ-ان آڈٹ ٹیلیمیٹری شامل ہیں۔

یہ پروجیکٹ ریڈپینڈا اور PySpark Structured Streaming کا استعمال کرتے ہوئے ایک مکمل Dockeriz شدہ مقامی حقیقی وقت کے اسٹریمنگ تجزیاتی پایپ لائن فراہم کرتا ہے، بغیر کسی کلاؤڈ اکاؤنٹ کی ضرورت کے۔

Kestra ایک اوپن سورس، ایونٹ ڈریون آرکیسٹریشن پلیٹ فارم ہے جو ڈیٹا، AI، اور انفراسٹرکچر ورک فلو کے لیے ڈیزائن کیا گیا ہے، جس میں ڈیکلیریٹو YAML انٹرفیس استعمال ہوتا ہے۔

SolarisPKN-Stats ایک خودکار نظام ہے جو متعدد پلیٹ فارمز سے پروجیکٹ کے اعداد و شمار جمع کرنے، انہیں محفوظ کرنے اور منظم JSON فائلوں میں اپ ڈیٹ کرنے کے لیے استعمال ہوتا ہے۔

Apache Airflow ایک ایسا پلیٹ فارم ہے جس کے ذریعے ورک فلو کو کوڈ کے طور پر پروگرامmatically تیار، شیڈول اور مانیٹر کیا جاتا ہے، جو عام طور پر ڈیٹا پائپ لائنز اور AI/ML آرکیسٹریشن کے لیے استعمال ہوتا ہے۔

delta-explain ایک ریڈ اونلی ڈیگنوسٹک ٹول ہے جو ڈیلٹا لیک فائل پرننگ کو ظاہر کرتا ہے۔ یہ لین دین کے لاگ کو پڑھ کر پارٹیشن پرننگ اور اعداد و شمار کی بنیاد پر اسکیپنگ دکھاتا ہے، جس میں CLI، Python API، CI گیٹنگ اور JSON رپورٹنگ شامل ہے۔