প্রকল্প সম্পর্কে

Cog একটি ওপেন-সোর্স টুল যা মেশিন লার্নিং মডেলগুলোকে স্ট্যান্ডার্ড, প্রোডাকশন-রেডি ডকার কন্টেইনারে প্যাকেজ করে। এটি ML মডেলগুলোকে প্রোডাকশনে পাঠানোর সাধারণ অসুবিধা লক্ষ্য করে, কারণ এটি ম্যানুয়ালি Dockerfile লেখা এবং ডিপেন্ডেন্সি সামঞ্জস্য পরিচালনার প্রয়োজনীয়তা দূর করে। README-তে বর্ণিত মূল ক্ষমতাগুলো: - একটি সহজ cog.yaml কনফিগারেশন ফাইল থেকে ডকার ইমেজ তৈরি, যেমন Nvidia বেস ইমেজ, দক্ষ ডিপেন্ডেন্সি ক্যাশিং, নির্দিষ্ট Python সংস্করণ ইনস্টলেশন এবং যুক্তিসঙ্গত এনভায়রনমেন্ট ভেরিয়েবল ডিফল্টের মতো সেরা অনুশীলন প্রয়োগ করা। - CUDA, cuDNN, PyTorch, TensorFlow এবং Python সংস্করণ সামঞ্জস্য স্বয়ংক্রিয়ভাবে পরিচালনা, ম্যানুয়াল সংস্করণ ম্যাট্রিক্স ব্যবস্থাপনা এড়ানো। - BaseRunner ইন্টারফেসের (setup এবং run পদ্ধতি) মাধ্যমে স্ট্যান্ডার্ড Python টাইপ ব্যবহার করে মডেল ইনপুট এবং আউটপুট সংজ্ঞায়িত করা, যেখানে Cog একটি OpenAPI স্কিমা তৈরি করে এবং ইনপুট/আউটপুট যাচাই করে। - স্বয়ংক্রিয় HTTP ইনফারেন্স সার্ভার: মডেল টাইপগুলো গতিশীলভাবে একটি RESTful HTTP API তৈরি করে যা একটি উচ্চ-পারফরম্যান্স Rust/Axum সার্ভার দ্বারা পরিবেশিত হয়। - CLI কমান্ড: cog run (ইনপুট সহ একটি মডেল চালানো), cog build (একটি ডিপ্লোয়েবল ডকার ইমেজ তৈরি), এবং cog serve (স্থানীয় পোর্টে বিল্ড এবং সার্ভ একত্রিত করা)। - ডিপ্লয়মেন্ট নমনীয়তা: তৈরি ডকার ইমেজ যেকোনো জায়গায় চলে যেখানে ডকার ইমেজ চলে, যেমন স্ব-হোস্টেড অবকাঠামো বা Replicate। - প্ল্যাটফর্ম সমর্থন: macOS, Linux এবং Windows 11 (WSL 2 এর মাধ্যমে)। Docker প্রয়োজন (এবং Docker Desktop এর পরিবর্তে Docker Engine ব্যবহার করলে Buildx প্রয়োজন)। - ইনস্টলেশন: Homebrew, একটি ইনস্টল স্ক্রিপ্ট, ম্যানুয়াল বাইনারি ডাউনলোড বা ডকার ইমেজের ভিতরে। টুলটি গবেষকদের জন্য এমনভাবে অবস্থান করা হয়েছে যাতে তারা গভীর ডকার বা অবকাঠামো প্রকৌশল জ্ঞান ছাড়াই মডেলগুলো প্রোডাকশনে পাঠাতে পারে এবং এটি Replicate-এর পিছনের দল দ্বারা তৈরি।