প্রকল্প সম্পর্কে

OpenCLIP হলো OpenAI-এর CLIP (Contrastive Language-Image Pre-training)-এর একটি ওপেন-সোর্স বাস্তবায়ন। এটি একটি Python লাইব্রেরি, open_clip_torch প্রদান করে, যা প্রি-ট্রেইনড ইমেজ-টেক্সট মডেল লোড করা, এমবেডিং গণনা করা এবং জিরো-শট ক্লাসিফিকেশন চালানোর জন্য ব্যবহৃত হয়, পাশাপাশি CLIP-ধাঁচের মডেল পুনরুৎপাদন ও সম্প্রসারণের জন্য একটি ট্রেনিং স্ট্যাকও দেয়। মূল সক্ষমতাসমূহ: - প্রি-ট্রেইনড মডেল জু: LAION-400M, LAION-2B, DataComp-1B এবং অন্যান্যগুলোতে প্রশিক্ষিত মডেল, সাথে OpenAI CLIP, SigLIP, DFN, SigLIP2 এবং PE ওয়েট লোড করার সমর্থন। মডেলগুলো open_clip.list_pretrained() এর মাধ্যমে তালিকাভুক্ত করা যায় এবং create_model_and_transforms দিয়ে লোড করা যায়, যার মধ্যে স্থানীয় পাথ বা Hugging Face Hub থেকেও লোড করা অন্তর্ভুক্ত। - ইনফারেন্স API: ছবি ও টেক্সটকে একটি শেয়ার্ড এমবেডিং স্পেসে এনকোড করে, তারপর জিরো-শট ক্লাসিফিকেশনের জন্য সাদৃশ্য-ভিত্তিক লেবেল সম্ভাবনা গণনা করে। উদাহরণ ব্যবহারে ViT-B-32 এবং laion2b_s34b_b79k ওয়েট দেখানো হয়েছে। - ট্রেনিং স্ট্যাক: মূল শাখা TrainingTask র্যাপার, ডিক্ট-ভিত্তিক ব্যাচ, FSDP2 সমর্থন, NaFlex পরিবর্তনশীল-রেজোলিউশন ইমেজ/অডিও পাইপলাইন এবং একাধিক torch.compile কৌশলকে ঘিরে পুনর্গঠিত একটি ট্রেনিং পাইপলাইন ব্যবহার করে। একটি v3 শাখা পুরোনো রিলিজ-স্থিতিশীল ট্রেনিং API সংরক্ষণ করে। - মডেল পরিবার: CLIP, SigLIP, CoCa, MaMMUT, CLAP অডিও-টেক্সট, NaFlex CLIP/CLAP, GenLIP/GenLAP জেনারেটিভ ক্যাপশনিং, এবং RoPE, SwiGLU, RMSNorm ও মাস্কড পুলিং সহ আধুনিক টেক্সট টাওয়ার। - টুলিং: টোকেনাইজার র্যাপার, লস ফ্যাক্টরি (create_loss), WebDataset পাইপলাইন, লেংথ বাকেটিং, গ্রেডিয়েন্ট অ্যাকুমুলেশন সমর্থন এবং Hugging Face টোকেনাইজার ইন্টিগ্রেশন। README থেকে উল্লেখযোগ্য অপারেশনাল বিবরণ: সর্বনিম্ন torch>=2.6, চেকপয়েন্ট লোডে weights_only=True ব্যবহৃত হয়, এবং মূল শাখার জন্য বেশ কিছু ব্রেকিং API/CLI পরিবর্তন নথিভুক্ত করা হয়েছে। বিদ্যমান প্রি-ট্রেইনড .pt চেকপয়েন্টগুলো লোডযোগ্য থাকে। প্রকল্পটি বড় আকারের এমবেডিং গণনার জন্য clip-retrieval এবং ক্লাসিফিকেশন কাজে জিরো-শট মডেল ফাইন-টিউনিংয়ের জন্য WiSE-FT-এর দিকেও নির্দেশ করে।