عن المشروع

يوفر هذا المشروع خط أنابيب بيانات نقرات بالكامل بدون خوادم مبنيًا على خدمات AWS. يقبل أحداث النقر في الوقت الفعلي عبر Amazon API Gateway، ويوجهها إلى Kinesis Data Streams للامتصاص، ثم يحول البيانات ويقسمها إلى تنسيق Parquet عبر Kinesis Firehose، ويخزن كل شيء في S3 كبحيرة بيانات. يستخدم AWS Glue لفهرسة المخطط بينما يتيح Athena استعلامات SQL حسب الطلب. يقوم Lambda مجدول عبر EventBridge بإصلاح Partition تلقائي. يتضمن المستودع بنية تحتية ككود باستخدام AWS SAM وCloudFormation لنشر متكرر ومسيطر عليه بالإصدار. تستخدم الب incoming payloads تنسيق JSONL مشفر بـ Base64 مع deviceId كـ Kinesis partition key. تُخزن البيانات المحولة مع تقسيم حسب السنة/الشهر/اليوم وضغط Snappy لاستعلامات فعالة من حيث التكلفة. تم توثيق اعتبارات الإنتاج على نطاق واسع، بما في ذلك تحسين معدل الامتصاص، والضغط من جانب العميل، ومعالجة تطور المخطط، والمراقبة مع CloudWatch، وأنماط الأمان، وبدائل إصلاح Partition الدفعي للسيناريوهات في الوقت الفعلي. مصدر البيانات الأصلي هو مجموعة بيانات Kaggle للنقرات.