इस प्रोजेक्ट के बारे में

Data Engineering Zoomcamp, DataTalks.Club का एक मुफ्त, ओपन-सोर्स 9-सप्ताह का कोर्स है जो सीखने वालों को शुरू से एंड-टू-एंड डेटा पाइपलाइन बनाकर डेटा इंजीनियरिंग की बुनियादी बातें सिखाता है। सामग्री, वीडियो व्याख्यान और होमवर्क रिपॉजिटरी में मुफ्त उपलब्ध हैं। यह कोर्स उन डेवलपर्स, विश्लेषकों और डेटा वैज्ञानिकों के लिए है जो डेटा पाइपलाइन बनाना और आधुनिक डेटा इंजीनियरिंग स्टैक के साथ काम करना सीखना चाहते हैं। पूर्वापेक्षाएँ बुनियादी कोडिंग अनुभव और SQL से परिचित होना हैं; Python सहायक है लेकिन आवश्यक नहीं, और पहले से डेटा इंजीनियरिंग अनुभव की आवश्यकता नहीं है। इसे दो तरीकों से किया जा सकता है। एक लाइव कोहोर्ट समय-सीमाओं, ग्रेड किए गए होमवर्क, लीडरबोर्ड, पीयर रिव्यू और प्रमाणपत्र पात्रता के साथ चलता है; व्याख्यान पहले से रिकॉर्ड किए गए हैं, इसलिए "लाइव" का अर्थ लाइव कक्षाओं के बजाय कोहोर्ट संरचना है। स्व-गति से सीखने वाले कभी भी शुरू कर सकते हैं और वही सामग्री उपयोग कर सकते हैं, होमवर्क उपलब्ध है लेकिन स्कोर नहीं किया जाता और कोई प्रमाणपत्र नहीं मिलता। पाठ्यक्रम मॉड्यूल और कार्यशालाओं में व्यवस्थित है: - मॉड्यूल 1: कंटेनरीकरण और Infrastructure as Code — GCP, Docker और Docker Compose का परिचय, Docker के साथ PostgreSQL चलाना, और Terraform के साथ इंफ्रास्ट्रक्चर सेटअप। - मॉड्यूल 2: वर्कफ़्लो ऑर्केस्ट्रेशन — डेटा लेक और वर्कफ़्लो ऑर्केस्ट्रेशन, Kestra के साथ। - कार्यशाला 1: डेटा इनजेशन — API रीडिंग, पाइपलाइन स्केलेबिलिटी, डेटा नॉर्मलाइजेशन और इंक्रीमेंटल लोडिंग, dlt का उपयोग करके। - मॉड्यूल 3: डेटा वेयरहाउसिंग — BigQuery का परिचय, पार्टिशनिंग, क्लस्टरिंग और सर्वोत्तम प्रथाएँ, साथ ही BigQuery में मशीन लर्निंग। - मॉड्यूल 4: एनालिटिक्स इंजीनियरिंग — एनालिटिक्स इंजीनियरिंग और डेटा मॉडलिंग, DuckDB और BigQuery के साथ dbt, टेस्टिंग, डॉक्युमेंटेशन और डिप्लॉयमेंट। - मॉड्यूल 5: डेटा प्लेटफ़ॉर्म — Bruin के साथ एंड-टू-एंड पाइपलाइन बनाना, जिसमें इनजेशन, ट्रांसफॉर्मेशन और क्वालिटी, और क्लाउड (BigQuery) पर डिप्लॉयमेंट शामिल है। - मॉड्यूल 6: बैच प्रोसेसिंग — Apache Spark, DataFrames और SQL, और GroupBy तथा joins की आंतरिक कार्यप्रणाली। - मॉड्यूल 7: स्ट्रीमिंग — Kafka, Kafka Streams और KSQL, और Avro के साथ स्कीमा प्रबंधन। एक अंतिम प्रोजेक्ट अवधारणाओं को वास्तविक दुनिया के परिदृश्य में लागू करता है और इसमें पीयर रिव्यू और फीडबैक प्रक्रिया शामिल है। प्रमाणपत्र उन सीखने वालों को दिए जाते हैं जो लाइव कोहोर्ट के दौरान अंतिम प्रोजेक्ट पूरा करते हैं। रिपॉजिटरी में YouTube व्याख्यान प्लेलिस्ट, कोर्स डॉक्युमेंटेशन, समय-सीमाओं और होमवर्क के लिए कोर्स प्लेटफ़ॉर्म, चर्चा और समस्या निवारण के लिए Slack चैनल, Telegram घोषणाएँ, और एक FAQ के लिंक भी हैं। सूचीबद्ध प्रशिक्षकों में Alexey Grigorev, Michael Shoemaker, Will Russell, Anna Geller, Juan Manuel Perafan और Arsalan Noorafkan शामिल हैं, साथ ही कई पूर्व प्रशिक्षकों को भी श्रेय दिया गया है। कोर्स प्रायोजकों में Kestra, Bruin और dltHub शामिल हैं। यह प्रोजेक्ट DataTalks.Club का हिस्सा है, जो एक वैश्विक ऑनलाइन डेटा समुदाय है जो इवेंट और मुफ्त कोर्स आयोजित करता है।