منصوبے کے بارے میں

یہ پروجیکٹ AWS سروسز پر بنایا گیا ایک مکمل سرورلیس کلک سٹریم ڈیٹا پیپ لائن فراہم کرتا ہے۔ یہ Amazon API Gateway کے ذریعے حقیقی وقت کے کلک ایونٹس وصول کرتا ہے، Kinesis Data Streams میں انہیں رجوع کرتا ہے، Kinesis Firehose کے ذریعے ڈیٹا کو Parquet فارمیٹ میں تبدیل اور تقسیم کرتا ہے، اور تمام ڈیٹا کو S3 کے ذریعے ڈیٹا لیک میں محفوظ کرتا ہے۔ AWS Glue اسکیما کی کٹیلاگنگ کرتا ہے جبکہ Athena ایڈ ہاک SQL کوائیریز کی اجازت دیتا ہے۔ EventBridge سے شیڈول کردہ Lambda خودکار پارٹیشن مرمت انجام دیتا ہے۔ ریپوزٹری میں AWS SAM اور CloudFormation کا استعمال کرتے ہوئے انفراسٹرکچر آر کوڈ شامل ہے تاکہ قابل تکرار اور ورژن کنٹرولڈ ڈیپلائمنٹ ممکن ہو سکے۔ داخل ہونے والے پی لوڈز Base64 انکوڈڈ JSONL فارمیٹ میں ہوتے ہیں جن میں deviceId کو Kinesis پارٹیشن کلیدی کے طور پر استعمال کیا جاتا ہے۔ تبدیل شدہ ڈیٹا سال/ماہ/دن کی پارٹیشننگ اور Snappy کمپریشن کے ساتھ محفوظ کیا جاتا ہے تاکہ لاگت میں موثر کوائیریاں ممکن ہوں۔ پروڈکشن غور و فکر پر تفصیلی دستاویزات موجود ہیں جن میں انگیسٹن ریٹ کی بہتری، کلائنٹ سائیڈ کمپریشن، اسکیما ارتقا کا اندازہ، CloudWatch کے ساتھ نگرانی، سیکیورٹی پیٹرنز، اور ریئل ٹائم صورتحال کے لیے بیچ پارٹیشن مرمت کے متبادل شامل ہیں۔ اصل ڈیٹا Kaggle کلک سٹریم ڈیٹا سیٹ سے حاصل کیا گیا ہے۔