প্রকল্প সম্পর্কে
Apache DataFusion হলো একটি এক্সটেনসিবল কুয়েরি ইঞ্জিন যা উচ্চ-ক্ষমতাসম্পন্ন ডাটাবেস এবং অ্যানালিটিক সিস্টেম তৈরি করা ডেভেলপারদের জন্য ডিজাইন করা হয়েছে। এটি Rust-এ লেখা এবং এর ইন-মেমরি ফরম্যাটের জন্য Apache Arrow ব্যবহার করে; এতে একটি পূর্ণাঙ্গ কুয়েরি প্ল্যানার এবং একটি কলামনার, স্ট্রিমিং, মাল্টি-থ্রেডেড, ভেক্টরাইজড এক্সিকিউশন ইঞ্জিন রয়েছে।
এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে:
- API: কুয়েরি করার জন্য SQL এবং DataFrame উভয় ইন্টারফেস প্রদান করে।
- ডাটা সাপোর্ট: CSV, Parquet, JSON এবং Avro ফরম্যাটের জন্য বিল্ট-ইন সাপোর্ট রয়েছে।
- এক্সটেনসিবিলিটি: ডাটা সোর্স, কুয়েরি ল্যাঙ্গুয়েজ, ফাংশন এবং অপারেটর কাস্টমাইজ করার সুযোগ দেয়।
- ইকোসিস্টেম: DataFusion Python, DataFusion Java, DataFusion Comet (Spark accelerator), এবং DataFusion Ballista (distributed execution)-এর মতো সাবপ্রজেক্টগুলোর সাথে সমন্বিত।
এই ইঞ্জিনটি ডোমেইন-স্পেসিফিক কুয়েরি ইঞ্জিন, নতুন ডাটাবেস প্ল্যাটফর্ম এবং ডাটা পাইপলাইন তৈরির জন্য উপযুক্ত। এতে কমপ্রেশন, ক্রিপ্টোগ্রাফিক এক্সপ্রেশন এবং Parquet মডুলার এনক্রিপশনের জন্য বিভিন্ন ঐচ্ছিক ফিচার অন্তর্ভুক্ত রয়েছে।