awesome-data-engineering

このリポジトリは、データエンジニアリングのツールとリソースを明確なセクションに整理した包括的なキュレーションリストです。リレーショナル、キーバリュー、カラムナ、ドキュメント、グラフ、分散、時系列データベース、データ比較ツール、Kafka、Airbyte、Meltano、dlt などのデータ取り込みフレームワーク、HDFS、S3、Alluxio、JuiceFS を含むファイルシステム、Avro、Parquet、ORC、Protobuf などのシリアライゼーション形式、ストリーム処理およびバッチ処理ツール、チャートとダッシュボード、ワークフローオーケストレーション、データレイク管理、ELK スタック、Docker、データセット、Prometheus によるモニタリング、データプロファイリング、スキーマ管理、テスト、フォーラム、カンファレンス、ポッドキャスト、書籍などのコミュニティリソースを含む幅広いトピックをカバーしています。各エントリには簡単な説明とプロジェクトへのリンクが含まれており、データパイプラインを構築しデータインフラストラクチャを管理する開発者にとって実用的なリファレンスとなっています。