ওপেন সোর্স। নতুন সম্ভাবনা।

Apache Arrow হলো একটি সর্বজনীন কলামনার মেমরি ফরম্যাট এবং মাল্টি-ল্যাঙ্গুয়েজ টুলবক্স, যা দক্ষ ডেটা ইন্টারচেঞ্জ এবং ইন-মেমরি অ্যানালিটিক্সের জন্য ডিজাইন করা হয়েছে।

Polars হলো Rust ভাষায় লেখা একটি অত্যন্ত দ্রুত অ্যানালিটিক্যাল কুয়েরি ইঞ্জিন, যা মাল্টি-থ্রেডেড এক্সিকিউশন এবং RAM-এর চেয়ে বড় ডেটাসেট প্রসেস করার সুবিধা প্রদান করে।

ADBC ডেটাবেস ড্রাইভার যাচাই করার জন্য একটি পুনঃব্যবহারযোগ্য, প্লাগযোগ্য Python/pytest-ভিত্তিক টেস্ট স্যুট। এটি ড্রাইভারগুলির বিরুদ্ধে SQL কোয়েরি চালিয়ে ফিচার সাপোর্ট, ডেটা টাইপ হ্যান্ডলিং এবং ডেটাবেস-নির্দিষ্ট কুইর্ক পরীক্ষা করে, সমর্থিত ও অসমর্থিত ফিচারের ডকুমেন্টেশন তৈরি করে। প্রতি-ড্রাইভার টেস্ট ওভাররাইড এবং একটি সমন্বিত .txtcase টেস্ট ফরম্যাট সমর্থন করে।

Apache DataFusion-এর জন্য একটি ADBC ড্রাইভার, যা Apache Arrow ব্যবহার করে ডেটা ইঞ্জিনগুলির সাথে সংযোগ এবং ক্যোয়ারি করার জন্য একটি মানক ইন্টারফেস প্রদান করে। Rust-এ বাস্তবায়িত এবং বর্তমানে পরীক্ষামূলক।

Apache DataFusion হলো Rust-এ লেখা একটি এক্সটেনসিবল কুয়েরি ইঞ্জিন যা ইন-মেমরি ফরম্যাট হিসেবে Apache Arrow ব্যবহার করে এবং দ্রুত অ্যানালিটিক সিস্টেম তৈরির জন্য SQL এবং DataFrame API প্রদান করে।

NVIDIA cuDF হল একটি GPU-ত্বরান্বিত DataFrame লাইব্রেরি, যা ট্যাবুলার ডেটা প্রক্রিয়াকরণের জন্য ব্যবহৃত হয়। এটি pandas-সামঞ্জস্যপূর্ণ API, Polars GPU ইঞ্জিন এবং Dask ব্যাকএন্ড প্রদান করে। CUDA-X স্যুটের অংশ হিসেবে এটি উচ্চ-কার্যক্ষমতা সম্পন্ন ডেটা ম্যানিপুলেশন সক্ষম করে। এটি Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত।

Arrow একটি Python লাইব্রেরি যা ডেট, সময় ও টাইমস্ট্যাম্প তৈরি, পরিবর্তন, ফরম্যাটিং ও রূপান্তর সহজ করে এবং টাইমজোন সচেতনতা ও মানববান্ধব API প্রদান করে।