منصوبے کے بارے میں

یہ ریپوزٹری ڈیٹا انجینئرنگ کے اوزاروں اور وسائل کی ایک جامع منتخب فہرست ہے، جو واضح حصوں میں منظم ہے۔ اس میں ریلیشنل، کی-ویلیو، کالمار، ڈاکومنٹ، گراف، ڈسٹری بیوٹڈ، اور ائم-سیریز ڈیٹا بیسز؛ ڈیٹا موازنہ کے اوزار؛ ڈیٹا انجیشن فریم ورکس جیسے Kafka، Airbyte، Meltano، اور dlt؛ فائل سسٹمز بشمول HDFS، S3، Alluxio، اور JuiceFS؛ سیریلائزیشن فارمیٹس جیسے Avro، Parquet، ORC، اور Protobuf؛ اسٹریم اور بیچ پروسیسنگ کے اوزار؛ چارٹس اور ڈیش بورڈز؛ ورک فلو آرکیسٹریشن؛ ڈیٹا لیک مینجمنٹ؛ ELK اسٹیک؛ Docker؛ ڈیٹا سیٹس؛ Prometheus کے ساتھ مانیٹرنگ؛ ڈیٹا پروفائلنگ؛ اسکیما مینجمنٹ؛ یسٹنگ؛ اور کمیونٹی وسائل بشمول فورمز، کانفرنسز، پوڈکاسٹس، اور کتابیں شامل ہیں۔ ہر اندراج میں ایک مختصر تفصیل اور پروجیکٹ کا لنک شامل ہے، جو اسے ڈیٹا پائپ لائنز بنانے اور ڈیٹا انفراسٹرکچر کے انتظام کرنے والے ڈویلپرز کے لیے ایک عملی حوالہ بناتا ہے۔