اوپن سورس۔ نئے امکانات۔

Dagster ایک کلاؤڈ نیٹو ڈیٹا پائپ لائن آرکسٹریٹر ہے جسے ڈیٹا اثاثوں (data assets) کی پوری لائف سائیکل کے دوران ان کی ڈویلپمنٹ، پروڈکشن اور آبزرویشن کے لیے ڈیزائن کیا گیا ہے۔

Apache Airflow ایک ایسا پلیٹ فارم ہے جس کے ذریعے ورک فلو کو کوڈ کے طور پر پروگرامmatically تیار، شیڈول اور مانیٹر کیا جاتا ہے، جو عام طور پر ڈیٹا پائپ لائنز اور AI/ML آرکیسٹریشن کے لیے استعمال ہوتا ہے۔

Pathway Python کا ایک لائیو ڈیٹا فریم ورک ہے جو اسٹریمنگ اور بیچ ڈیٹا پروسیسنگ کو یکساں API کے ذریعے سنبھالتا ہے۔ یہ Rust انجن پر بنایا گیا ہے جو مختلف AI پائپ لائنز سمیت حقیقی وقت کے تجزیات کی سہولت دیتا ہے۔