इस प्रोजेक्ट के बारे में

यह प्रोजेक्ट AWS सर्विसेज़ पर बनाया गया एक कंप्लीट सर्वरलेस क्लिकस्ट्रीम डेटा पाइपलाइन है। यह Amazon API Gateway के ज़रिए रियल-टाइम क्लिक इवेंट्स लेता है, उन्हें Kinesis Data Streams में इनगेस्ट करता है, फिर Kinesis Firehose द्वारा डेटा को Parquet फ़ॉर्मेट में ट्रान्सफॉर्म और पार्टिशन करता है, और अंत में सब कुछ S3 डेटा लेक में स्टोर करता है। AWS Glue स्कीमा को कैटलॉग करता है जबकि Athena एड-हॉक SQL क्वेरीज़ की सुविधा देता है। EventBridge-शेड्यूल किए गए Lambda ऑटोमैटिक पार्टिशन रिपेयर करते हैं। इस रिपॉज़िटरी में Infrastructure as Code के रूप में AWS SAM और CloudFormation शामिल हैं, जिससे रिपीटेबल, वर्ज़न-कंट्रोल्ड डिप्लॉयमेंट संभव होता है। इनकमिंग पेइलोड Base64-एन्कोडेड JSONL फ़ॉर्मेट में होते हैं, जिनमें deviceId को Kinesis पार्टिशन कीज़ के रूप में इस्तेमाल किया गया है। ट्रान्सफॉर्म किए गए डेटा को साल/महीना/दिन के आधार पर पार्टिशन करके और Snappy कंप्रेशन के साथ संग्रहीत किया जाता है, जिससे क्वेरी लागत प्रभावी बनती है। प्रोडक्शन विचारों का व्यापक रूप से दस्तावेज़ीकरण किया गया है, जिसमें इनगेस्ट दर ऑप्टिमाइज़ेशन, क्लाइंट-साइड कंप्रेशन, स्कीमा इवोल्यूशन हैंडलिंग, CloudWatch मॉनिटरिंग, सुरक्षा पैटर्न और रियल-टाइम परिदृश्यों के लिए बैच पार्टिशन रिपेयर के विकल्प शामिल हैं। मूल डेटा Kaggle क्लिकस्ट्रीम डेटासेट से प्राप्त किया गया है।