عن المشروع

PaddleSeg هي مجموعة تطوير شاملة لتجزئة الصور من طرف إلى طرف مبنية على PaddlePaddle، وموجهة لعملية تطبيق تجزئة الصور الكاملة من التدريب إلى النشر. يستخدم المشروع ترخيص Apache 2.0، ويدعم Linux وWindows وmacOS، ويتطلب Python 3.6 أو أحدث. القدرات الأساسية تتضمن المجموعة أكثر من 45 خوارزمية نموذجية و140+ نموذجاً مدرباً مسبقاً، وتوفر أربع قدرات للتجزئة: التجزئة الدلالية، والتجزئة التفاعلية، واقتطاع الصور (Matting)، والتجزئة الشاملة، مع امتدادات في اتجاهات مميزة مثل تجزئة الصور الشخصية، والتجزئة الطبية ثلاثية الأبعاد، والتكيف مع المجال. وفيما يتعلق بأسلوب التطوير، تدعم في الوقت نفسه التشغيل القائم على التكوين واستدعاء API، وتغطي سير العمل الكامل لوضع العلامات على البيانات، وتطوير النماذج، والتدريب، والضغط، والنشر. النماذج والمكونات تضم مكتبة نماذج التجزئة الدلالية العديد من الشبكات مثل PP-LiteSeg وPP-MobileSeg وDeepLabV3P وOCRNet وBiSeNetV1/V2 وDDRNet وSegFormer وسلسلة U-Net وMaskFormer وK-Net وSegNeXt وغيرها. وتشمل الشبكات العمودية HRNet وResNet وSTDCNet وMobileNetV2/V3 وShuffleNetV2 وGhostNet وLiteHRNet وViT وSwin Transformer وMSCAN وغيرها. وتوفر دوال الخسارة خيارات متعددة مثل الإنتروبيا المتقاطعة وDice وFocal وLovasz وOHEM والانتباه الحدي، بينما تشمل مقاييس التقييم mIoU وAccuracy وKappa وDice وAUC_ROC. دعم البيانات والتدريب تتضمن دعماً مدمجاً لقراءة ADE20K وCityscapes وCOCO Stuff وPascal VOC وPP-HumanSeg14K بالإضافة إلى عدة مجموعات بيانات للتصوير الطبي (DRIVE وSTARE وCHASE_DB1 وHRF وغيرها)، كما توفر استراتيجيات تعزيز البيانات مثل القلب والتحجيم والقص والضوضاء والتمويه والتدوير والإزاحة الأفينية. وفي جانب التدريب، تعتمد استراتيجيات تسريع مثل الإدخال/الإخراج غير المتزامن متعدد العمليات والتدريب والتقييم المتوازيين متعدد البطاقات، مع تحسين الذاكرة في إطار العمل لتقليل تكاليف التدريب. النشر والضغط يمكن تصدير النماذج كنماذج تنبؤية أو ONNX، وتشمل مسارات النشر FastDeploy وPaddle Inference (Python/C++) وPaddle Lite وPaddle Serving وPaddle JS، وتغطي خوادم GPU وX86 CPU وARM CPU للأجهزة المحمولة وسيناريوهات الويب. وفي جانب الضغط، توفر قدرات التكميم والتقطير والتشذيب وضغط التدريب بالتكميم والتقطير. التطوير منخفض الكود والأدوات أُضيفت في نوفمبر 2024 قدرة تطوير كاملة منخفضة الكود مبنية على PaddleX، تدمج نماذج التجزئة الدلالية العامة وكشف الشذوذ في الصور في خطوط إنتاج، وتدعم أسلوبي الاستخدام عبر الأوامر الموحدة والواجهة الرسومية، مع إضافة خوارزمية كشف الشذوذ في الصور SFTPM. كما توفر مكونات مساندة مثل أداة اختيار النماذج PaddleSMRT وأداة وضع العلامات التفاعلية EISeg والنموذج البصري الكبير الخفيف MobileSAM. السيناريوهات المناسبة يسرد README أمثلة تطبيقية صناعية مثل تجزئة الصور الشخصية، وتجزئة الطرق في الاستشعار عن بعد، وتجزئة خطوط المسارات، وتجزئة أجزاء الوجه، وتجزئة الفقرات ثلاثية الأبعاد، ومعاينة طلاء الأظافر، ومراقبة طول حديد التسليح، مما يوضح أنها يمكن أن تخدم مجالات الرعاية الصحية والصناعة والاستشعار عن بعد والترفيه وغيرها.