このプロジェクトについて

本プロジェクトは、AWSサービスを活用した完全なサーバーレスクリックストリームデータパイプラインを提供します。Amazon API Gatewayを通じてリアルタイムのクリックイベントを受け取り、Kinesis Data Streamsで取り込み、Kinesis FirehoseによってParquet形式に変換・パーティション分割し、S3上にデータレイクとして保存します。AWS Glueがスキーマをカタログ管理し、AthenaがアドホックSQLクエリを可能にします。EventBridgeスケジュールによりLambdaが自動パーティション修復を実行します。 リポジトリにはAWS SAMおよびCloudFormationを用いたインフラストラクチャコードが含まれ、反復可能でバージョン管理されたデプロイメントを実現します。入力ペイロードはBase64エンコーディングされたJSONL形式で、deviceIdをKinesisパーティションキーとして使用します。変換データは年/月/日のパーティション分割とSnappy圧縮でS3に保存され、コスト効果の高いクエリを実現します。 実 prod 向けの考慮事項について詳細に文書化されており、取り込みレート最適化、クライアント側圧縮、スキーマ進化への対応、CloudWatchによるモニタリング、セキュリティパターン、バッチパーティション修復のリアルタイム代替案などを含みます。元のデータはKaggleクリックストリームデータセットから取得されています。