প্রকল্প সম্পর্কে
Apache Arrow বিভিন্ন ধরণের ডেটার ইন-মেমরি উপস্থাপনের জন্য একটি স্ট্যান্ডার্ড কলামনার ফরম্যাট প্রদান করে, যা ডেটা সিস্টেমগুলোকে দক্ষভাবে ডেটা সংরক্ষণ, প্রসেস এবং মুভ করতে সক্ষম করে। এতে হেটেরোজিনিয়াস এনভায়রনমেন্ট জুড়ে দ্রুত ডেটা ইন্টারচেঞ্জ এবং অ্যানালিটিক্সের জন্য একগুচ্ছ প্রযুক্তি অন্তর্ভুক্ত রয়েছে।
মূল উপাদানগুলোর মধ্যে রয়েছে:
- Arrow Columnar Format: প্লেইন বা নেস্টেড ডেটাটাইপের ইন-মেমরি উপস্থাপনের একটি স্ট্যান্ডার্ড।
- Arrow IPC Format: প্রসেসগুলোর মধ্যে যোগাযোগের জন্য দক্ষ সিরিয়ালাইজেশন।
- ADBC (Arrow Database Connectivity): ডেটাবেস এবং কুয়েরি ইঞ্জিন অ্যাক্সেস করার জন্য API এবং ড্রাইভার।
- Arrow Flight RPC: রিমোট সার্ভিসগুলোর মাধ্যমে Arrow ডেটা বিনিময়ের একটি প্রোটোকল।
- Gandiva: Arrow-এর জন্য একটি LLVM-ভিত্তিক এক্সপ্রেশন কম্পাইলার।
এই প্রজেক্টটি C++, Python, Java, JavaScript, Rust, Go, R, Ruby, .NET, Julia এবং Swift সহ একাধিক ভাষায় লাইব্রেরি প্রদান করে।
প্রযুক্তিগত সক্ষমতাগুলোর মধ্যে রয়েছে:
- ফ্ল্যাট বা নেস্টেড টাইপ সমর্থনকারী কলামনার ভেক্টর এবং টেবিল-সদৃশ কন্টেইনার।
- জিরো-কপি মেমরি শেয়ারিংয়ের জন্য রেফারেন্স-কাউন্টেড অফ-হিপ বাফার মেমরি ম্যানেজমেন্ট।
- লোকাল এবং রিমোট ফাইলসিস্টেমের জন্য IO ইন্টারফেস।
- Parquet এবং CSV-এর মতো সাধারণ ফাইল ফরম্যাটের জন্য রিডার এবং রাইটার।
- Google-এর FlatBuffers-এর উপর ভিত্তি করে একটি মেটাডেটা মেসেজিং লেয়ার।