مكتبة Python خفيفة الوزن لتنفيذ خطوط الأنابيب تستخدم مزخرفات @action لتحديد المهام، وتدعم إعادة المحاولة، والتنفيذ المتوازي، والمراقبة، والنشر بنقرة واحدة إلى أكثر من 34 منصة سحابية بما في ذلك AWS Lambda وGCP Cloud Run وKubernetes.
مصدر مفتوح. آفاق جديدة.
اكتشف مشاريع مفتوحة المصدر عالية الجودة، وأرسل المشاريع بشكل مجهول، وطالب بمشروعك المفتوح المصدر وحرّره.
فضول صغير. عالم من المصادر المفتوحة.
THE FIRST COLLECTIONDagster هو منسق لخطوط أنابيب البيانات سحابي الأصل، مصمم لتطوير وإنتاج ومراقبة أصول البيانات طوال دورة حياتها الكاملة.
Apache Airflow هي منصة لبرمجة وجدولة ومراقبة سير العمل ككود، وتُستخدم بشكل شائع في أنابيب البيانات وتنسيق عمليات الذكاء الاصطناعي وتعلم الآلة.
باثواي هو إطار عمل ETL بلغة بايثون مخصص للمعالجة التدفقية، والتحليلات في الوقت الفعلي، وخطوط أنابيب الذكاء الاصطناعي بما في ذلك تطبيقات LLM و RAG. يعمل كود بايثون عليه عبر محرك مكتوب بلغة رست للحسابات التزايدية، ويدعم المعالجة الدفعية والتدفقية بنفس الكود، ويمكن نشره عبر دوكر وكيوبيرنيتس.
خط أنابيب بيانات نقرات بالكامل بدون خوادم على AWS يجمع ويحول ويخزن أحداث النقر بتنسيق باركيه باستخدام API Gateway وKinesis وFirehose وLambda وAthena، مع بنية البنية التحتية ككود جاهزة للإنتاج عبر AWS SAM.
Flow هو محرك ETL خفيف الوزن ومُحسَّن للأداء، ومُدرَّج في ملف واحد، ومُبني بلغة Go. يتميز بمُحسِّن ويب مرئي مُدمج، وأنابيب XML إعلانية، ودعم عبر قواعد البيانات، ومقاييس تدقيق مُدمجة.
Kestra هي منصة أوركسترا مفتوحة المصدر ومدفوعة بالأحداث، مصممة لسير عمل البيانات والذكاء الاصطناعي والبنية التحتية، وتعتمد على واجهة YAML التصريحية.
CocoIndex هو إطار عمل مفتوح المصدر للفهرسة التزايدية يقدّم للوكلاء الذكيين وتطبيقات النماذج اللغوية سياقاً محدثاً باستمرار عبر إعادة معالجة البيانات المتغيرة فقط.
فيكتور (Vector) هو خط أنابيب بيانات قابلية رصد مفتوح المصدر مكتوب بـ Rust، يجمع السجلات والمقاييس ويحوّلها ويوجّهها، مما يتيح للفرق التحكم في مسار البيانات المراقبة وتقليل تكاليف البائعين.