প্রকল্প সম্পর্কে

SynapseML (পূর্বে MMLSpark) একটি ওপেন-সোর্স লাইব্রেরি, যা ব্যাপকভাবে স্কেলযোগ্য মেশিন লার্নিং পাইপলাইন তৈরি সহজ করে। এটি Apache Spark-এর উপর নির্মিত এবং SparkML/MLLib-এর মতো একই API সারফেস শেয়ার করে, তাই এর মডেলগুলো বিদ্যমান Spark ওয়ার্কফ্লোতে এমবেড করা যায়। README-তে বর্ণিত সক্ষমতাগুলোর মধ্যে রয়েছে টেক্সট অ্যানালিটিক্স, কম্পিউটার ভিশন, অ্যানোমালি ডিটেকশন, ডিপ লার্নিং এবং রেসপন্সিবল AI টুলিং। মডেলগুলো সিঙ্গেল-নোড, মাল্টি-নোড এবং ইলাস্টিকভাবে রিসাইজযোগ্য ক্লাস্টারে ট্রেন ও মূল্যায়ন করা যায়। লাইব্রেরিটি Python, R, Scala, Java এবং .NET জুড়ে ব্যবহারযোগ্য, এবং এর API বিভিন্ন ডেটাবেস, ফাইল সিস্টেম ও ক্লাউড ডেটা স্টোরের উপর অ্যাবস্ট্রাকশন দেয়। উল্লেখযোগ্য কম্পোনেন্টগুলোর মধ্যে হাইলাইট করা হয়েছে: স্পার্স টেক্সট অ্যানালিটিক্সের জন্য Vowpal Wabbit on Spark; Cognitive Services for Big Data; গ্রেডিয়েন্ট বুস্টেড মেশিনের জন্য LightGBM on Spark; Spark কম্পিউটেশনকে ওয়েব সার্ভিস হিসেবে প্রকাশের জন্য Spark Serving; ডিস্ট্রিবিউটেড মাইক্রোসার্ভিস অর্কেস্ট্রেশনের জন্য HTTP on Spark; হার্ডওয়্যার-অ্যাক্সিলারেটেড ইনফারেন্সের জন্য ONNX on Spark; অস্পষ্ট মডেল ব্যাখ্যা ও ডেটাসেট পক্ষপাত পরিমাপের জন্য Responsible AI; PySpark ও SparklyR-এর জন্য Spark বাইন্ডিং অটোজেনারেশন; ডিস্ট্রিবিউটেড আউটলায়ার ডিটেকশনের জন্য Isolation Forest; নিরাপত্তার জন্য CyberML; এবং Conditional KNN। ইনস্টলেশন দুটি ভাগে বিভক্ত: একটি ভাষা র্যাপার এবং Spark দ্বারা লোড করা JVM আর্টিফ্যাক্ট। শুধু PyPI প্যাকেজ ইনস্টল করলে JVM আর্টিফ্যাক্ট যোগ হয় না। README-তে একটি কম্প্যাটিবিলিটি ম্যাট্রিক্স দেওয়া আছে: master Spark 3.5.x-কে Scala 2.12 ও Python 3.11 (রিলিজ v1.1.3) দিয়ে টার্গেট করে; spark4.0 Spark 4.0.1+-কে Scala 2.13 ও Python 3.12 দিয়ে টার্গেট করে; spark4.1 Spark 4.1.x-কে Scala 2.13 ও Python 3.13 দিয়ে টার্গেট করে। Maven কোঅর্ডিনেট এবং একটি কাস্টম রিপোজিটরি URL দেওয়া হয়েছে, সাথে Microsoft Fabric, Synapse Analytics, Databricks, স্ট্যান্ডঅ্যালোন Python, spark-submit, SBT, Apache Livy/HDInsight, Docker এবং R-এর জন্য সেটআপ নির্দেশনা। মূল্যায়নের জন্য একটি প্রি-বিল্ট Docker ইমেজ ও উদাহরণ নোটবুক দেওয়া হয়েছে, এবং প্রকল্পটি একাডেমিক পেপার ও কমিউনিটি ডেমোর লিঙ্ক দেয়।