منصوبے کے بارے میں

OpenCLIP اوپن اے آئی کے CLIP (Contrastive Language-Image Pre-training) کا ایک اوپن سورس نفاذ ہے۔ یہ ایک پائتھن لائبریری، open_clip_torch، فراہم کرتا ہے جو پیش تربیت یافتہ تصویر-متن ماڈلز لوڈ کرنے، ایمبیڈنگز کمپیوٹ کرنے، اور زیرو شاٹ درجہ بندی چلانے کے لیے ہے، نیز CLIP طرز کے ماڈلز کو دوبارہ پیش کرنے اور توسیع دینے کے لیے ایک تربیتی اسٹیک بھی فراہم کرتا ہے۔ اہم صلاحیتیں: - پیش تربیت یافتہ ماڈل چڑیا گھر: LAION-400M، LAION-2B، DataComp-1B اور دیگر پر تربیت یافتہ ماڈلز، نیز OpenAI CLIP، SigLIP، DFN، SigLIP2، اور PE وزن لوڈ کرنے کی معاونت۔ ماڈلز کو open_clip.list_pretrained() کے ذریعے فہرست بند کیا جا سکتا ہے اور create_model_and_transforms کے ساتھ لوڈ کیا جا سکتا ہے، بشمول مقامی پاتھ یا Hugging Face Hub سے۔ - انفرنس API: تصاویر اور متن کو ایک مشترکہ ایمبیڈنگ اسپیس میں انکوڈ کریں، پھر زیرو شاٹ درجہ بندی کے لیے مماثلت پر مبنی لیبل امکانات کمپیوٹ کریں۔ ViT-B-32 اور laion2b_s34b_b79k وزن کے ساتھ مثال کا استعمال دکھایا گیا ہے۔ - تربیتی اسٹیک: مرکزی برانچ TrainingTask ریپرز، ڈکٹ پر مبنی بیچز، FSDP2 معاونت، NaFlex متغیر ریزولوشن تصویر/آڈیو پائپ لائنز، اور متعدد torch.compile حکمت عملیوں کے گرد تعمیر شدہ ایک ری فیکٹر شدہ تربیتی پائپ لائن استعمال کرتی ہے۔ ایک v3 برانچ پرانے ریلیز مستحکم تربیتی API کو محفوظ رکھتی ہے۔ - ماڈل خاندان: CLIP، SigLIP، CoCa، MaMMUT، CLAP آڈیو-متن، NaFlex CLIP/CLAP، GenLIP/GenLAP تخلیقی کیپشننگ، اور RoPE، SwiGLU، RMSNorm اور ماسکڈ پولنگ کے ساتھ جدید ٹیکسٹ ٹاورز۔ - ٹولنگ: ٹوکنائزر ریپرز، لاس فیکٹری (create_loss)، WebDataset پائپ لائنز، لمبائی بکٹنگ، گریڈینٹ جمع کرنے کی معاونت، اور Hugging Face ٹوکنائزر انضمام۔ README سے قابل ذکر آپریشنل تفصیلات: کم از کم torch>=2.6، چیک پوائنٹ لوڈز weights_only=True استعمال کرتے ہیں، اور مرکزی برانچ کے لیے کئی توڑنے والی API/CLI تبدیلیاں دستاویز شدہ ہیں۔ موجودہ پیش تربیت یافتہ .pt چیک پوائنٹس لوڈ ہونے کے قابل رہتے ہیں۔ یہ پروجیکٹ بڑے پیمانے پر ایمبیڈنگ کمپیوٹیشن کے لیے clip-retrieval اور درجہ بندی کے کاموں پر زیرو شاٹ ماڈلز کو فائن ٹیون کرنے کے لیے WiSE-FT کی طرف بھی اشارہ کرتا ہے۔