ओपन सोर्स। नई संभावनाएँ।

Sail एक Rust-नेटिव, ड्रॉप-इन Apache Spark विकल्प है जो Spark Connect के माध्यम से बैच, स्ट्रीमिंग और AI वर्कलोड का समर्थन करता है। यह उच्च प्रदर्शन, कम लागत और मौजूदा PySpark कोड के साथ संगतता प्रदान करता है।

Ibis एक पोर्टेबल Python डेटाफ़्रेम लाइब्रेरी है जो एक ही डेटाफ़्रेम API को DuckDB, Polars, BigQuery, Snowflake और PostgreSQL सहित 20 से अधिक बैकएंड के लिए SQL या नेटिव कोड में संकलित करती है। यह lazy expressions, इंटरैक्टिव exploration और Python के साथ SQL मिलाने का समर्थन करती है।

Apache DataFusion के लिए एक ADBC ड्राइवर, जो Apache Arrow का उपयोग करने वाले डेटा इंजनों से कनेक्ट करने और क्वेरी करने के लिए एक मानक इंटरफ़ेस प्रदान करता है। Rust में कार्यान्वित और वर्तमान में प्रयोगात्मक।

Apache DataFusion Rust में लिखा गया एक विस्तार योग्य क्वेरी इंजन है जो इन-मेमोरी फॉर्मेट के रूप में Apache Arrow का उपयोग करता है, और तेज़ एनालिटिक सिस्टम बनाने के लिए SQL और DataFrame APIs प्रदान करता है।