مصدر مفتوح. آفاق جديدة.

خط تحليل فوري محلي يعمل بالكونتينر يستخدم Redpanda كبديل لـ Kafka وPySpark Structured Streaming. يحاكي أحداث النقرات ويطبق تجميعاً زمنياً مع watermarking.

Miller (mlr) هي أداة سطر أوامر لمعالجة البيانات المفهرسة بالاسم مثل CSV وTSV وJSON وJSON Lines، وتجمع بين أدوار awk وsed وcut وjoin وsort. تدعم البث المباشر وتحويل الصيغ والإحصاءات وسير العمل المتوافق مع الأنابيب.

River مكتبة بايثون مفتوحة المصدر للتعلّم الآلي المتصل بالبيانات المتدفقة، تدمج creme وscikit-multiflow وتوفر خوارزميات تزايدية للتصنيف والانحدار والتجميع وكشف الشذوذ والانحراف والتنبؤ والموصيات وbandits مع المعالجة والمقاييس والخطوط الأنبوبية.

مكتبة بايثون لتدفق الملفات الكبيرة بكفاءة من S3 وGCS وAzure وHDFS وHTTP وSFTP والتخزين المحلي مع دعم ضغط شفاف. بديل مباشر لدالة open() المدمجة.

Redpanda Connect هو معالج تدفقات تصريحي ينقل البيانات بين مصادر وأحواض متعددة عبر ملف YAML واحد، مع موصلات CDC، وخرائط Bloblang، وتسليم مرة واحدة على الأقل، وقياسات وتتبع مدمجين.

Fluvio هو محرك تدفق أحداث موزع وقابل للبرمجة مكتوب بلغة Rust، مصمم لجمع وتحويل البيانات المتحركة لتطبيقات سريعة الاستجابة.

Materialize هي منصة تكامل بيانات في الوقت الفعلي تحافظ على عروض SQL متسقة ومحدثة تدريجيًا فوق البيانات المتدفقة والمعاملاتية. تقرأ من PostgreSQL وMySQL وKafka وخطافات الويب، وتقدم النتائج عبر بروتوكول PostgreSQL.