عن المشروع

SynapseML (المعروفة سابقًا باسم MMLSpark) مكتبة مفتوحة المصدر تبسّط إنشاء خطوط أنابيب تعلّم آلي قابلة للتوسّع الهائل. وهي مبنية على Apache Spark وتشارك نفس سطح واجهة برمجة التطبيقات الخاص بـ SparkML/MLLib، لذا يمكن تضمين نماذجها في سير عمل Spark الحالية. تشمل القدرات الموصوفة في README تحليلات النصوص، والرؤية الحاسوبية، وكشف الشذوذ، والتعلّم العميق، وأدوات الذكاء الاصطناعي المسؤول. ويمكن تدريب النماذج وتقييمها على عنقود أحادي العقدة أو متعدد العقد أو قابل لتغيير الحجم مرنًا. والمكتبة قابلة للاستخدام عبر Python وR وScala وJava و.NET، وتجرّد واجهتها البرمجية مختلف قواعد البيانات وأنظمة الملفات ومخازن البيانات السحابية. المكوّنات البارزة المذكورة: Vowpal Wabbit على Spark لتحليلات النصوص المتفرّقة؛ وCognitive Services للبيانات الضخمة؛ وLightGBM على Spark لآلات التعزيز التدرّجي؛ وSpark Serving لعرض حسابات Spark كخدمات ويب؛ وHTTP على Spark لتنسيق الخدمات المصغّرة الموزّعة؛ وONNX على Spark للاستدلال المعجّل بالعتاد؛ وResponsible AI لتفسير النماذج غير الشفافة وقياس تحيّز مجموعات البيانات؛ والتوليد التلقائي لارتباطات Spark لـ PySpark وSparklyR؛ وIsolation Forest لكشف القيم الشاذة الموزّع؛ وCyberML للأمن؛ وConditional KNN. ينقسم التثبيت بين غلاف لغوي ومكوّنات JVM التي يحمّلها Spark. وتثبيت حزمة PyPI وحدها لا يضيف مكوّنات JVM. ويوفّر README مصفوفة توافق: master يستهدف Spark 3.5.x مع Scala 2.12 وPython 3.11 (الإصدار v1.1.3)؛ وspark4.0 يستهدف Spark 4.0.1+ مع Scala 2.13 وPython 3.12؛ وspark4.1 يستهدف Spark 4.1.x مع Scala 2.13 وPython 3.13. وتُقدَّم إحداثيات Maven وعنوان مستودع مخصّص، إلى جانب تعليمات الإعداد لـ Microsoft Fabric وSynapse Analytics وDatabricks وPython المستقل وspark-submit وSBT وApache Livy/HDInsight وDocker وR. وتُتاح صورة Docker جاهزة ودفاتر ملاحظات أمثلة للتقييم، ويربط المشروع أوراقًا أكاديمية وعروضًا توضيحية من المجتمع.