ओपन सोर्स। नई संभावनाएँ।

Prefect एक Python-आधारित वर्कफ़्लो ऑर्केस्ट्रेशन फ्रेमवर्क है जिसे शेड्यूलिंग और रिट्राइज़ जैसी सुविधाओं के साथ लचीली डेटा पाइपलाइनों के निर्माण, स्वचालन और निगरानी के लिए डिज़ाइन किया गया है।

Kestra एक ओपन-सोर्स, इवेंट-ड्रिवन ऑर्केस्ट्रेशन प्लेटफॉर्म है जिसे डेटा, AI और इंफ्रास्ट्रक्चर वर्कफ़्लो के लिए डिज़ाइन किया गया है, जो एक डिक्लेरेटिव YAML इंटरफ़ेस का उपयोग करता है।

Taipy एक Python फ्रेमवर्क है जिसे डेटा वैज्ञानिकों और ML इंजीनियरों के लिए डिज़ाइन किया गया है ताकि वे फ्रंट-एंड भाषाएं सीखे बिना प्रोडक्शन-रेडी डेटा और AI-संचालित वेब एप्लिकेशन बना और तैनात कर सकें।

Great Expectations (GX Core) डेटा गुणवत्ता के लिए एक ओपन-सोर्स Python लाइब्रेरी है, जो डेटा के लिए यूनिट टेस्ट बनाने का एक फ्रेमवर्क प्रदान करती है ताकि निरंतरता और विश्वसनीयता सुनिश्चित की जा सके।

हल्का पायथन निष्पादन पाइपलाइन लाब्रेरी जो कार्यों को परिभाषित करने के लिए @action डेकोरेटर का उपयोग करती है, रिट्राई, समानांतर निष्पादन, ब्ज़र्वेबिलिटी और AWS Lambda, GCP Cloud Run और Kubernetes सहित 34+ क्लाउड प्लेटफ़ॉर्म पर एक-क्लिक तैनाती का समर्थन करती है।

StormByte-Buffer एक C++26 लाइब्रेरी है जो StormByte सुइट के लिए FIFO, SharedFIFO, Ring buffers और पाइपलाइन टूल्स प्रदान करती है। इसमें थ्रेड-सेफ/नॉन-थ्रेड-सेफ बफ़र्स, प्रोड्यूसर/कंज्यूमर पैटर्न और कॉन्फ़िगर करने योग्य पाइपलाइन स्टेज शामिल हैं। इसके लिए StormByte Base की आवश्यकता होती है।

marimo एक रिएक्टिव Python नोटबुक है जो कोड और आउटपुट के बीच निरंतरता सुनिश्चित करती है, जिसे git-फ्रेंडली और डिप्लॉयमेंट के लिए शुद्ध Python फाइलों के रूप में स्टोर किया जाता है।

Tekton Pipelines कुबरनेट्स-शैली संसाधन प्रदान करता है जो CI/CD पाइपलाइन घोषित करते हैं। पाइपलाइन क्लाउड-नेटिव, डिकपल्ड और टाइप की जाती हैं, कंटेनर निर्माण खंड के रूप में, Tasks अलगाव में चल सकते हैं और संसाधन बदले जा सकते हैं।

nf-core/fastqrepair is a bioinformatics pipeline for recovering corrupted FASTQ.gz files, fixing uncompliant reads, removing unpaired reads, and re-pairing disordered reads. It outputs clean FASTQ files and QC reports.