প্রকল্প সম্পর্কে

এই প্রজেক্টটি AWS সার্ভিসগুলির উপর ভিত্তি করে তৈরি একটি সম্পূর্ণ সার্ভারলেস ক্লিকস্ট্রিম ডেটা পাইপলাইন প্রদান করে। এটি Amazon API Gateway-এর মাধ্যমে রিয়েল-টাইম ক্লিক ইভেন্ট গ্রহণ করে, ইনজেশনের জন্য সেগুলোকে Kinesis Data Streams-এ পাঠায়, Kinesis Firehose-এর মাধ্যমে ডেটাকে Parquet ফরম্যাটে ট্রান্সফর্ম এবং পার্টিশন করে এবং সবকিছু একটি ডেটা লেক হিসেবে S3-তে স্টোর করে। AWS Glue স্কিমা ক্যাটালগ তৈরি করে এবং Athena অ্যাড-হক SQL কুয়েরি সক্ষম করে। একটি EventBridge-শিডিউলড Lambda স্বয়ংক্রিয় পার্টিশন রিপেয়ার সম্পন্ন করে। রিপোজিটরিটিতে পুনরাবৃত্তিযোগ্য এবং ভার্সন-কন্ট্রোলড ডেপ্লয়মেন্টের জন্য AWS SAM এবং CloudFormation ব্যবহার করে Infrastructure as Code অন্তর্ভুক্ত করা হয়েছে। ইনকামিং পেলোডগুলো Base64-এনকোডেড JSONL ফরম্যাট ব্যবহার করে যেখানে deviceId হিসেবে Kinesis পার্টিশন কী কাজ করে। ট্রান্সফর্ম করা ডেটা খরচ-সাশ্রয়ী কুয়েরির জন্য year/month/day পার্টিশনিং এবং Snappy কমপ্রেশন সহ স্টোর করা হয়। প্রোডাকশন সংক্রান্ত বিবেচ্য বিষয়গুলো বিস্তারিতভাবে নথিভুক্ত করা হয়েছে, যার মধ্যে ইনজেশন রেট অপ্টিমাইজেশন, ক্লায়েন্ট-সাইড কমপ্রেশন, স্কিমা ইভোলিউশন হ্যান্ডলিং, CloudWatch-এর মাধ্যমে মনিটরিং, সিকিউরিটি প্যাটার্ন এবং রিয়েল-টাইম সিনারিওর জন্য ব্যাচ পার্টিশন রিপেয়ারের বিকল্পসমূহ অন্তর্ভুক্ত রয়েছে। মূল ডেটা একটি Kaggle ক্লিকস্ট্রিম ডেটাসেট থেকে নেওয়া হয়েছে।