প্রকল্প সম্পর্কে
Dagster হলো একটি অর্কেস্ট্রেশন প্ল্যাটফর্ম যা টেবিল, ডেটাসেট, মেশিন লার্নিং মডেল এবং রিপোর্টের মতো ডেটা অ্যাসেটগুলোর উন্নয়ন এবং রক্ষণাবেক্ষণের ওপর গুরুত্ব দেয়। এটি একটি ডিক্লারেটিভ প্রোগ্রামিং মডেল ব্যবহার করে যেখানে ব্যবহারকারীরা ডেটা অ্যাসেটগুলোকে Python ফাংশন হিসেবে সংজ্ঞায়িত করেন, যা সিস্টেমটিকে এক্সিকিউশন টাইমিং এবং অ্যাসেট আপডেট পরিচালনা করতে সক্ষম করে।
এর মূল ক্ষমতাগুলোর মধ্যে রয়েছে:
- ডেটা ফ্লো ট্র্যাক করতে এবং পারফরম্যান্স সমস্যা নির্ণয় করতে ইন্টিগ্রেটেড লিনেজ এবং অবজারভেবিলিটি।
- অ্যাসেট তৈরি এবং টাস্ক ম্যানেজমেন্টের জন্য একটি ডিক্লারেটিভ পদ্ধতি।
- লোকাল ডেভেলপমেন্ট, ইউনিট টেস্টিং, ইন্টিগ্রেশন টেস্টিং এবং প্রোডাকশন ডেপ্লয়মেন্টসহ সম্পূর্ণ ডেভেলপমেন্ট লাইফসাইকেল সাপোর্ট।
- সেন্ট্রালাইজড মেটাডেটা, ক্যাটালগিং এবং ডায়াগনস্টিকসের জন্য একটি ইউনিফাইড কন্ট্রোল প্লেন।
- বিভিন্ন জনপ্রিয় ডেটা টুল এবং ইনফ্রাস্ট্রাকচারের জন্য ইন্টিগ্রেশনের একটি লাইব্রেরি।
Dagster PyPI-তে উপলব্ধ এবং এটি Python সংস্করণ ৩.৯ থেকে ৩.১৪ পর্যন্ত সাপোর্ট করে।