عن المشروع

دورة Data Engineering Zoomcamp هي دورة مجانية مفتوحة المصدر مدتها 9 أسابيع من DataTalks.Club تعلّم أساسيات هندسة البيانات من خلال قيام المتعلمين ببناء خط أنابيب بيانات شامل من الصفر. المواد والمحاضرات المرئية والواجبات متاحة مجانًا في المستودع. تستهدف الدورة المطورين والمحللين وعلماء البيانات الذين يرغبون في تعلم كيفية بناء خطوط أنابيب البيانات والعمل مع مجموعة أدوات حديثة لهندسة البيانات. المتطلبات المسبقة هي خبرة برمجية أساسية وإلمام بـ SQL؛ ومعرفة Python مفيدة لكنها غير مطلوبة، ولا حاجة إلى خبرة سابقة في هندسة البيانات. يمكن اتباعها بطريقتين. تُقام مجموعة مباشرة بمواعيد نهائية وواجبات مُقيَّمة ولوحة صدارة ومراجعة من الأقران وأهلية للحصول على شهادة؛ والمحاضرات مسجلة مسبقًا، لذا تشير كلمة "مباشر" إلى بنية المجموعة وليس إلى دروس مباشرة. ويمكن للمتعلمين بالوتيرة الذاتية البدء في أي وقت واستخدام المواد نفسها، مع توفر الواجبات لكن دون تقييم ودون شهادة. المنهج منظم في وحدات وورش عمل: - الوحدة 1: الحاويات والبنية التحتية كشيفرة — مقدمة إلى GCP وDocker وDocker Compose، وتشغيل PostgreSQL باستخدام Docker، وإعداد البنية التحتية باستخدام Terraform. - الوحدة 2: تنسيق سير العمل — بحيرات البيانات وتنسيق سير العمل، باستخدام Kestra. - ورشة العمل 1: إدخال البيانات — قراءة API، وقابلية توسع خط الأنابيب، وتطبيع البيانات والتحميل التدريجي، باستخدام dlt. - الوحدة 3: مستودعات البيانات — مقدمة إلى BigQuery، والتقسيم، والتجميع، وأفضل الممارسات، إضافة إلى تعلم الآلة في BigQuery. - الوحدة 4: هندسة التحليلات — هندسة التحليلات ونمذجة البيانات، وdbt مع DuckDB وBigQuery، والاختبار والتوثيق والنشر. - الوحدة 5: منصات البيانات — بناء خطوط أنابيب شاملة باستخدام Bruin، تغطي الإدخال والتحويل والجودة، والنشر إلى السحابة (BigQuery). - الوحدة 6: المعالجة الدفعية — Apache Spark، وDataFrames وSQL، والتفاصيل الداخلية لـ GroupBy والربط (joins). - الوحدة 7: البث — Kafka وKafka Streams وKSQL، وإدارة المخططات باستخدام Avro. يطبّق مشروع نهائي المفاهيم في سيناريو واقعي ويتضمن عملية مراجعة من الأقران وتقديم ملاحظات. تُمنح الشهادات للمتعلمين الذين يكملون المشروع النهائي خلال مجموعة مباشرة. يربط المستودع أيضًا بقائمة تشغيل محاضرات على YouTube، وتوثيق الدورة، ومنصة الدورة للمواعيد النهائية والواجبات، وقناة Slack للنقاش وحل المشكلات، وإعلانات Telegram، وأسئلة شائعة. ومن المدرّسين المذكورين Alexey Grigorev وMichael Shoemaker وWill Russell وAnna Geller وJuan Manuel Perafan وArsalan Noorafkan، مع الإشارة أيضًا إلى عدة مدرّسين سابقين. ومن رعاة الدورة Kestra وBruin وdltHub. المشروع جزء من DataTalks.Club، وهو مجتمع بيانات عالمي عبر الإنترنت ينظم فعاليات ودورات مجانية.