منصوبے کے بارے میں

SynapseML (سابقہ نام MMLSpark) ایک اوپن سورس لائبریری ہے جو بڑے پیمانے پر توسیع پذیر مشین لرننگ پائپ لائنز بنانے کو آسان بناتی ہے۔ یہ Apache Spark پر تعمیر کی گئی ہے اور SparkML/MLLib کے ساتھ وہی API سطح رکھتی ہے، لہٰذا اس کے ماڈلز کو موجودہ Spark ورک فلو میں شامل کیا جا سکتا ہے۔ README میں بیان کردہ صلاحیتوں میں متن تجزیہ، کمپیوٹر وژن، بے ضابطگی کی نشاندہی، ڈیپ لرننگ اور ذمہ دار AI ٹولنگ شامل ہیں۔ ماڈلز کو سنگل نوڈ، ملٹی نوڈ اور لچکدار طور پر قابلِ توسیع کلسٹرز پر تربیت اور جانچا جا سکتا ہے۔ یہ لائبریری Python، R، Scala، Java اور .NET میں استعمال کے قابل ہے، اور اس کا API مختلف ڈیٹا بیسز، فائل سسٹمز اور کلاؤڈ ڈیٹا اسٹورز پر تجرید فراہم کرتا ہے۔ نمایاں اجزاء: اسپارس متن تجزیہ کے لیے Spark پر Vowpal Wabbit؛ بگ ڈیٹا کے لیے Cognitive Services؛ گریڈینٹ بوسٹڈ مشینوں کے لیے Spark پر LightGBM؛ Spark کمپیوٹیشنز کو ویب سروسز کے طور پر پیش کرنے کے لیے Spark Serving؛ تقسیم شدہ مائیکرو سروس آرکیسٹریشن کے لیے Spark پر HTTP؛ ہارڈویئر سے تیز رفتار انفرنس کے لیے Spark پر ONNX؛ غیر شفاف ماڈلز کی تشریح اور ڈیٹا سیٹ تعصب کی پیمائش کے لیے Responsible AI؛ PySpark اور SparklyR کے لیے Spark بائنڈنگ کی خودکار تخلیق؛ تقسیم شدہ آؤٹ لائر کی نشاندہی کے لیے Isolation Forest؛ سیکیورٹی کے لیے CyberML؛ اور Conditional KNN۔ تنصیب دو حصوں میں ہے: ایک زبان ریپر اور Spark کے ذریعے لوڈ کیے جانے والے JVM آرٹیفیکٹس۔ صرف PyPI پیکیج انسٹال کرنے سے JVM آرٹیفیکٹس شامل نہیں ہوتے۔ README ایک مطابقت میٹرکس فراہم کرتا ہے: master کا ہدف Spark 3.5.x کے ساتھ Scala 2.12 اور Python 3.11 ہے (ریلیز v1.1.3)؛ spark4.0 کا ہدف Spark 4.0.1+ کے ساتھ Scala 2.13 اور Python 3.12 ہے؛ spark4.1 کا ہدف Spark 4.1.x کے ساتھ Scala 2.13 اور Python 3.13 ہے۔ Maven کوآرڈینیٹس اور ایک حسبِ ضرورت ریپوزٹری URL دیے گئے ہیں، ساتھ ہی Microsoft Fabric، Synapse Analytics، Databricks، اسٹینڈ اَلون Python، spark-submit، SBT، Apache Livy/HDInsight، Docker اور R کے لیے سیٹ اپ ہدایات بھی۔ جانچ کے لیے ایک پہلے سے بنائی گئی Docker امیج اور مثال نوٹ بکس پیش کیے گئے ہیں، اور پروجیکٹ تعلیمی مقالوں اور کمیونٹی ڈیموز کے لنکس بھی دیتا ہے۔