इस प्रोजेक्ट के बारे में

OpenCLIP, OpenAI के CLIP (Contrastive Language-Image Pre-training) का ओपन-सोर्स कार्यान्वयन है। यह एक Python लाइब्रेरी, open_clip_torch प्रदान करता है, जिसका उपयोग प्रीट्रेन्ड इमेज-टेक्स्ट मॉडल लोड करने, एम्बेडिंग की गणना करने और ज़ीरो-शॉट क्लासिफिकेशन चलाने के लिए किया जाता है, साथ ही CLIP-शैली के मॉडलों को पुनरुत्पादित और विस्तारित करने के लिए एक ट्रेनिंग स्टैक भी प्रदान करता है। मुख्य क्षमताएँ: - प्रीट्रेन्ड मॉडल ज़ू: LAION-400M, LAION-2B, DataComp-1B और अन्य पर प्रशिक्षित मॉडल, साथ ही OpenAI CLIP, SigLIP, DFN, SigLIP2, और PE वेट लोड करने का समर्थन। मॉडलों को open_clip.list_pretrained() के माध्यम से सूचीबद्ध किया जा सकता है और create_model_and_transforms के साथ लोड किया जा सकता है, जिसमें स्थानीय पथ या Hugging Face Hub से लोड करना शामिल है। - इन्फरेंस API: छवियों और टेक्स्ट को एक साझा एम्बेडिंग स्पेस में एन्कोड करें, फिर ज़ीरो-शॉट क्लासिफिकेशन के लिए समानता-आधारित लेबल संभावनाओं की गणना करें। उदाहरण उपयोग ViT-B-32 और laion2b_s34b_b79k वेट के साथ दिखाया गया है। - ट्रेनिंग स्टैक: मुख्य शाखा एक रिफैक्टर्ड ट्रेनिंग पाइपलाइन का उपयोग करती है जो TrainingTask रैपर्स, डिक्ट-आधारित बैचों, FSDP2 समर्थन, NaFlex वेरिएबल-रेज़ोल्यूशन इमेज/ऑडियो पाइपलाइनों, और कई torch.compile रणनीतियों के आसपास बनी है। एक v3 शाखा पुराने रिलीज़-स्थिर ट्रेनिंग API को संरक्षित करती है। - मॉडल परिवार: CLIP, SigLIP, CoCa, MaMMUT, CLAP ऑडियो-टेक्स्ट, NaFlex CLIP/CLAP, GenLIP/GenLAP जनरेटिव कैप्शनिंग, और RoPE, SwiGLU, RMSNorm और मास्क्ड पूलिंग वाले आधुनिक टेक्स्ट टावर। - टूलिंग: टोकनाइज़र रैपर्स, लॉस फैक्ट्री (create_loss), WebDataset पाइपलाइनें, लंबाई बकेटिंग, ग्रेडिएंट एक्युमुलेशन समर्थन, और Hugging Face टोकनाइज़र एकीकरण। README से उल्लेखनीय परिचालन विवरण: न्यूनतम torch>=2.6, चेकपॉइंट लोड weights_only=True का उपयोग करते हैं, और मुख्य शाखा के लिए कई ब्रेकिंग API/CLI परिवर्तन प्रलेखित हैं। मौजूदा प्रीट्रेन्ड .pt चेकपॉइंट लोड करने योग्य बने हुए हैं। परियोजना बड़े पैमाने पर एम्बेडिंग गणना के लिए clip-retrieval और क्लासिफिकेशन कार्यों पर ज़ीरो-शॉट मॉडलों को फाइन-ट्यून करने के लिए WiSE-FT की ओर भी इंगित करती है।