ওপেন সোর্স। নতুন সম্ভাবনা।

Great Expectations (GX Core) হলো ডেটা কোয়ালিটির জন্য একটি ওপেন-সোর্স Python লাইব্রেরি, যা ডেটার ধারাবাহিকতা এবং নির্ভরযোগ্যতা নিশ্চিত করতে ইউনিট টেস্ট তৈরির একটি ফ্রেমওয়ার্ক প্রদান করে।

হল্কা পাইথন এক্সিকিউশন পাইপলাইন লাইব্রেরি যা @action ডেকোরেটর ব্যবহার করে টাস্ক সংজ্ঞায়িত করে, রিট্রি, সমানাঁত্র নির্বাহ, অবজারভ্যালিটি এবং 34+ ক্লাউড প্ল্যাটফর্মে (AWS Lambda, GCP Cloud Run, Kubernetes) একটি ক্লিকে ডিপ্লয়মেন্ট সাপোর্ট করে।

StormByte-Buffer হলো একটি C++26 লাইব্রেরি যা StormByte সুইটের জন্য FIFO, SharedFIFO, Ring buffers এবং পাইপলাইন টুলস প্রদান করে। এতে থ্রেড-সেফ এবং নন-থ্রেড-সেফ বাফার, প্রডিউসার/কনজিউমার প্যাটার্ন এবং কনফিগারযোগ্য পাইপলাইন স্টেজ অন্তর্ভুক্ত। এর জন্য StormByte Base প্রয়োজন।

marimo হলো একটি রিঅ্যাক্টিভ Python নোটবুক যা কোড এবং আউটপুটের মধ্যে সামঞ্জস্য নিশ্চিত করে এবং git-বান্ধব ও ডেপ্লয়যোগ্য করার জন্য বিশুদ্ধ Python ফাইল হিসেবে সংরক্ষিত হয়।

Tekton Pipelines একটি ওপেন-সোর্স প্রকল্প যা Kubernetes-এ CI/CD পাইপলাইন ঘোষণার জন্য সংস্থান সরবরাহ করে। এটি ক্লাউড-নেটিভ, ডিকপলড এবং টাইপড, কন্টেইনারকে বিল্ডিং ব্লক হিসেবে ব্যবহার করে, যেখানে Tasks আলাদাভাবে চালানো যায় এবং সংস্থান বদলানো যায়।

nf-core/fastqrepair is a bioinformatics pipeline for recovering corrupted FASTQ.gz files, fixing uncompliant reads, removing unpaired reads, and re-pairing disordered reads. It outputs clean FASTQ files and QC reports.

Kestra হলো একটি ওপেন-সোর্স, ইভেন্ট-ড্রিভেন অর্কেস্ট্রেশন প্ল্যাটফর্ম যা ডেটা, AI এবং ইনফ্রাস্ট্রাকচার ওয়ার্কফ্লোর জন্য ডিজাইন করা হয়েছে এবং এটি একটি ডিক্লারেটিভ YAML ইন্টারফেস ব্যবহার করে।