প্রকল্প সম্পর্কে

এই রিপোজিটরিটি ডেটা ইঞ্জিনিয়ারিং টুল এবং রিসোর্সের একটি বিস্তৃত কিউরেটেড তালিকা, যা স্পষ্ট বিভাগে সংগঠিত। এটি রিলেশনাল, কী-ভ্যালু, কলামনার, ডকুমেন্ট, গ্রাফ, ডিস্ট্রিবিউটেড এবং টাইম-সিরিজ ডেটাবেস; ডেটা তুলনা টুল; Kafka, Airbyte, Meltano এবং dlt-এর মতো ডেটা ইনজেশন ফ্রেমওয়ার্ক; HDFS, S3, Alluxio এবং JuiceFS সহ ফাইল সিস্টেম; Avro, Parquet, ORC এবং Protobuf-এর মতো সিরিয়ালাইজেশন ফরম্যাট; স্ট্রিম এবং ব্যাচ প্রসেসিং টুল; চার্ট এবং ড্যাশবোর্ড; ওয়ার্কফ্লো অর্কেস্ট্রেশন; ডেটা লেক ম্যানেজমেন্ট; ELK স্ট্যাক; Docker; ডেটাসেট; Prometheus দিয়ে মনিটরিং; ডেটা প্রোফাইলিং; স্কিমা ম্যানেজমেন্ট; টেস্টিং; এবং ফোরাম, কনফারেন্স, পডকাস্ট এবং বই সহ কমিউনিটি রিসোর্স সহ বিস্তৃত বিষয় কভার করে। প্রতিটি এন্ট্রিতে একটি সংক্ষিপ্ত বিবরণ এবং প্রকল্পের একটি লিঙ্ক রয়েছে, যা ডেটা পাইপলাইন তৈরি এবং ডেটা ইনফ্রাস্ট্রাকচার পরিচালনা করা ডেভেলপারদের জন্য একটি ব্যবহারিক রেফারেন্স করে তোলে।