عن المشروع
يوفر Apache Beam نموذجاً موحداً لبناء خطوط معالجة البيانات التي يمكنها التعامل مع البيانات المحدودة (batch) وغير المحدودة (streaming). وهو يفصل تعريف خط المعالجة عن بيئة التنفيذ، مما يسمح للمطورين بكتابة منطقهم البرمجي مرة واحدة وتشغيله على مختلف الخلفيات الموزعة للمعالجة.
تشمل المكونات الرئيسية لنموذج Beam ما يلي:
- PCollection: تمثل مجموعة بيانات من أي حجم.
- PTransform: تمثل عملية حسابية تحول بيانات الإدخال إلى بيانات إخراج.
- Pipeline: يدير الرسم البياني الموجه غير الدوري (DAG) للتحويلات والمجموعات.
- PipelineRunner: يحدد بيئة التنفيذ.
يوفر Beam حزم تطوير برمجية (SDKs) للغات Java و Python و Go. كما يدعم العديد من المشغلين (runners) للتنفيذ، بما في ذلك:
- DirectRunner و PrismRunner (التنفيذ المحلي)
- Google Cloud Dataflow
- Apache Flink
- Apache Spark
- Hazelcast Jet
- Twister2