ওপেন সোর্স। নতুন সম্ভাবনা।

Apache Arrow হলো একটি সর্বজনীন কলামনার মেমরি ফরম্যাট এবং মাল্টি-ল্যাঙ্গুয়েজ টুলবক্স, যা দক্ষ ডেটা ইন্টারচেঞ্জ এবং ইন-মেমরি অ্যানালিটিক্সের জন্য ডিজাইন করা হয়েছে।

Polars হলো Rust ভাষায় লেখা একটি অত্যন্ত দ্রুত অ্যানালিটিক্যাল কুয়েরি ইঞ্জিন, যা মাল্টি-থ্রেডেড এক্সিকিউশন এবং RAM-এর চেয়ে বড় ডেটাসেট প্রসেস করার সুবিধা প্রদান করে।

Apache DataFusion-এর জন্য একটি ADBC ড্রাইভার, যা Apache Arrow ব্যবহার করে ডেটা ইঞ্জিনগুলির সাথে সংযোগ এবং ক্যোয়ারি করার জন্য একটি মানক ইন্টারফেস প্রদান করে। Rust-এ বাস্তবায়িত এবং বর্তমানে পরীক্ষামূলক।

NVIDIA cuDF হল একটি GPU-ত্বরান্বিত DataFrame লাইব্রেরি, যা ট্যাবুলার ডেটা প্রক্রিয়াকরণের জন্য ব্যবহৃত হয়। এটি pandas-সামঞ্জস্যপূর্ণ API, Polars GPU ইঞ্জিন এবং Dask ব্যাকএন্ড প্রদান করে। CUDA-X স্যুটের অংশ হিসেবে এটি উচ্চ-কার্যক্ষমতা সম্পন্ন ডেটা ম্যানিপুলেশন সক্ষম করে। এটি Apache 2.0 লাইসেন্সের অধীনে প্রকাশিত।