مصدر مفتوح. آفاق جديدة.

Dagster هو منسق لخطوط أنابيب البيانات سحابي الأصل، مصمم لتطوير وإنتاج ومراقبة أصول البيانات طوال دورة حياتها الكاملة.

Apache Airflow هي منصة لبرمجة وجدولة ومراقبة سير العمل ككود، وتُستخدم بشكل شائع في أنابيب البيانات وتنسيق عمليات الذكاء الاصطناعي وتعلم الآلة.

باثواي هو إطار عمل ETL بلغة بايثون مخصص للمعالجة التدفقية، والتحليلات في الوقت الفعلي، وخطوط أنابيب الذكاء الاصطناعي بما في ذلك تطبيقات LLM و RAG. يعمل كود بايثون عليه عبر محرك مكتوب بلغة رست للحسابات التزايدية، ويدعم المعالجة الدفعية والتدفقية بنفس الكود، ويمكن نشره عبر دوكر وكيوبيرنيتس.