ওপেন সোর্স। নতুন সম্ভাবনা।

Prefect হলো একটি Python-ভিত্তিক ওয়ার্কফ্লো অর্কেস্ট্রেশন ফ্রেমওয়ার্ক, যা শিডিউলিং এবং রিট্রাই-এর মতো ফিচারের মাধ্যমে স্থিতিস্থাপক ডেটা পাইপলাইন তৈরি, স্বয়ংক্রিয় এবং পর্যবেক্ষণ করার জন্য ডিজাইন করা হয়েছে।

Kestra হলো একটি ওপেন-সোর্স, ইভেন্ট-ড্রিভেন অর্কেস্ট্রেশন প্ল্যাটফর্ম যা ডেটা, AI এবং ইনফ্রাস্ট্রাকচার ওয়ার্কফ্লোর জন্য ডিজাইন করা হয়েছে এবং এটি একটি ডিক্লারেটিভ YAML ইন্টারফেস ব্যবহার করে।

Taipy হলো ডেটা সায়েন্টিস্ট এবং ML ইঞ্জিনিয়ারদের জন্য একটি Python ফ্রেমওয়ার্ক, যার মাধ্যমে ফ্রন্ট-এন্ড ল্যাঙ্গুয়েজ না শিখেই প্রোডাকশন-রেডি ডেটা এবং AI-চালিত ওয়েব অ্যাপ্লিকেশন তৈরি ও ডেপ্লয় করা সম্ভব।

Great Expectations (GX Core) হলো ডেটা কোয়ালিটির জন্য একটি ওপেন-সোর্স Python লাইব্রেরি, যা ডেটার ধারাবাহিকতা এবং নির্ভরযোগ্যতা নিশ্চিত করতে ইউনিট টেস্ট তৈরির একটি ফ্রেমওয়ার্ক প্রদান করে।

হল্কা পাইথন এক্সিকিউশন পাইপলাইন লাইব্রেরি যা @action ডেকোরেটর ব্যবহার করে টাস্ক সংজ্ঞায়িত করে, রিট্রি, সমানাঁত্র নির্বাহ, অবজারভ্যালিটি এবং 34+ ক্লাউড প্ল্যাটফর্মে (AWS Lambda, GCP Cloud Run, Kubernetes) একটি ক্লিকে ডিপ্লয়মেন্ট সাপোর্ট করে।

StormByte-Buffer হলো একটি C++26 লাইব্রেরি যা StormByte সুইটের জন্য FIFO, SharedFIFO, Ring buffers এবং পাইপলাইন টুলস প্রদান করে। এতে থ্রেড-সেফ এবং নন-থ্রেড-সেফ বাফার, প্রডিউসার/কনজিউমার প্যাটার্ন এবং কনফিগারযোগ্য পাইপলাইন স্টেজ অন্তর্ভুক্ত। এর জন্য StormByte Base প্রয়োজন।

marimo হলো একটি রিঅ্যাক্টিভ Python নোটবুক যা কোড এবং আউটপুটের মধ্যে সামঞ্জস্য নিশ্চিত করে এবং git-বান্ধব ও ডেপ্লয়যোগ্য করার জন্য বিশুদ্ধ Python ফাইল হিসেবে সংরক্ষিত হয়।

Tekton Pipelines একটি ওপেন-সোর্স প্রকল্প যা Kubernetes-এ CI/CD পাইপলাইন ঘোষণার জন্য সংস্থান সরবরাহ করে। এটি ক্লাউড-নেটিভ, ডিকপলড এবং টাইপড, কন্টেইনারকে বিল্ডিং ব্লক হিসেবে ব্যবহার করে, যেখানে Tasks আলাদাভাবে চালানো যায় এবং সংস্থান বদলানো যায়।

nf-core/fastqrepair is a bioinformatics pipeline for recovering corrupted FASTQ.gz files, fixing uncompliant reads, removing unpaired reads, and re-pairing disordered reads. It outputs clean FASTQ files and QC reports.