عن المشروع

SAM 2 (Segment Anything Model 2) هو نموذج أساسي من Meta AI / FAIR للتجزئة البصرية القابلة للتوجيه في كل من الصور والفيديو. يوسّع نهج SAM الأصلي من خلال معاملة الصورة كفيديو بإطار واحد، باستخدام بنية محوّل مع ذاكرة تدفّق لمعالجة الفيديو في الوقت الفعلي. يوفّر المستودع رمز الاستدلال الرسمي، ونقاط فحص مدربة قابلة للتنزيل، ودفاتر أمثلة، ورمز التدريب/الضبط الدقيق، وعرضًا تجريبيًا على الويب قابلًا للنشر محليًا. القدرات الرئيسية الموصوفة في ملف README: - التنبؤ بالصور: توفّر فئة SAM2ImagePredictor واجهة مشابهة لـ SAM للتجزئة القائمة على التوجيه في الصور الثابتة، بما في ذلك التوليد التلقائي للأقنعة. - التنبؤ بالفيديو: يدعم مُنبئ الفيديو إضافة توجيهات نقطية أو مربعة، وتحسينها، ونشر الأقنعة (masklets) عبر الفيديو، مع تتبّع متعدد الأهداف وحالة استدلال لكل هدف. - نقاط فحص النموذج: نقاط فحص SAM 2.1 (tiny، small، base_plus، large) صدرت في سبتمبر 2024، بالإضافة إلى نقاط فحص SAM 2 السابقة من يوليو 2024، مع أرقام الحجم والسرعة والمعايير على SA-V وMOSE وLVOS v2. - التحميل عبر Hugging Face: يمكن تحميل النماذج عبر from_pretrained لكل من مُنبئ الصور والفيديو. - التدريب والضبط الدقيق: يُوفَّر رمز للتدريب أو الضبط الدقيق على مجموعات بيانات مخصصة للصور أو الفيديو أو مختلطة. - العرض التجريبي على الويب: رمز الواجهة الأمامية والخلفية لعرض تجريبي قابل للنشر محليًا مشابه لعرض SAM 2 المستضاف. - مجموعة بيانات SA-V: أكبر مجموعة بيانات لتجزئة الفيديو حتى الآن، بُنيت باستخدام محرك بيانات يعتمد على النموذج في الحلقة؛ وتتضمن توثيقًا لمجموعة البيانات. يتطلب التثبيت Python 3.10+ وPyTorch 2.5.1+ وTorchVision 0.20.1+، مع مجموعة أدوات CUDA لتجميع النواة المخصصة؛ ويُنصح مستخدمو Windows باستخدام WSL. تثبّت الحزم الاختيارية Jupyter وmatplotlib للدفاتر. يلاحظ ملف README أنه يمكن تجاهل فشل بناء امتداد CUDA، مع تأثير محدود فقط على المعالجة اللاحقة. أضاف تحديث ديسمبر 2024 تجميعًا كاملًا للنموذج لتسريع تجزئة كائنات الفيديو، ومُنبئ SAM2VideoPredictor محدّثًا يدعم الاستدلال المستقل لكل كائن وإضافة كائنات جديدة بعد بدء التتبّع. الترخيص: نقاط فحص النموذج ورمز العرض التجريبي ورمز التدريب مرخّصة بموجب Apache 2.0، بينما خط Inter وNoto Color Emoji بموجب SIL Open Font License 1.1. رمز المكوّنات المتصلة لوحدة معالجة الرسومات من طرف ثالث مُكيَّف من cc_torch مع ملف الترخيص الخاص به.