প্রকল্প সম্পর্কে

TensorFlow Serving হলো মেশিন লার্নিং মডেলের জন্য একটি সার্ভিং সিস্টেম, যা প্রোডাকশন পরিবেশের জন্য ডিজাইন করা হয়েছে। এটি ইনফারেন্স পর্যায়ে ফোকাস করে: প্রশিক্ষিত মডেল গ্রহণ, তাদের জীবনকাল পরিচালনা, এবং একটি উচ্চ-ক্ষমতাসম্পন্ন, রেফারেন্স-কাউন্টেড লুকআপ টেবিলের মাধ্যমে ক্লায়েন্টদের ভার্সনড অ্যাক্সেস প্রদান। যদিও এটি TensorFlow মডেলের সাথে আউট-অফ-দ্য-বক্স একীভূত হয়, এর স্থাপত্য অন্যান্য মডেল প্রকার এবং ডেটাতে এক্সটেনশনের অনুমতি দেয়। README-তে বর্ণিত মূল ক্ষমতাগুলির মধ্যে রয়েছে: - একাধিক মডেল, বা একই মডেলের একাধিক ভার্সন, একই সাথে সার্ভিং। - gRPC এবং HTTP উভয় ইনফারেন্স এন্ডপয়েন্ট উন্মুক্ত করা। - ক্লায়েন্ট কোড পরিবর্তন না করেই নতুন মডেল ভার্সন মোতায়েন করা। - নতুন ভার্সনের ক্যানারি পরীক্ষা এবং পরীক্ষামূলক মডেলের A/B টেস্টিং সমর্থন। - কম-ওভারহেড বাস্তবায়নের কারণে ন্যূনতম লেটেন্সি যোগ করা। - একটি শিডিউলার যা পৃথক ইনফারেন্স অনুরোধগুলিকে GPU-তে যৌথ এক্সিকিউশনের জন্য ব্যাচে গোষ্ঠীভুক্ত করে, কনফিগারযোগ্য লেটেন্সি নিয়ন্ত্রণ সহ। - অনেক সার্ভেবল সমর্থন: TensorFlow মডেল, এমবেডিং, ভোকাবুলারি, ফিচার ট্রান্সফরমেশন, এবং এমনকি নন-TensorFlow-ভিত্তিক মেশিন লার্নিং মডেল। README একটি Docker ব্যবহার করে দ্রুত-শুরুর উদাহরণ প্রদান করে: tensorflow/serving ইমেজ টানুন, রিপোজিটরি ক্লোন করুন, একটি ডেমো মডেল মাউন্ট করে একটি কন্টেইনার শুরু করুন, এবং curl অনুরোধের সাথে REST API কোয়েরি করুন। এটি অফিসিয়াল TensorFlow ডকুমেন্টেশন সাইটে একটি এন্ড-টু-এন্ড প্রশিক্ষণ এবং সার্ভিং টিউটোরিয়ালের লিংকও দেয়। ডকুমেন্টেশন সেটআপ বিকল্পগুলিকে কভার করে, যার মধ্যে Docker (প্রস্তাবিত), Docker ছাড়া ইনস্টলেশন, Docker দিয়ে সোর্স থেকে বিল্ডিং, এবং Kubernetes-এ ডিপ্লয়মেন্ট। ব্যবহারের নির্দেশিকা ব্যাখ্যা করে কিভাবে একটি TensorFlow মডেলকে SavedModel হিসেবে এক্সপোর্ট করতে হয়, তারপর TensorFlow Serving কনফিগার ও ব্যবহার করতে হয়। অতিরিক্ত গাইড পারফরম্যান্স, TensorBoard প্রোফাইলিং, REST API, gRPC API সংজ্ঞা, SavedModel ওয়ার্মআপ, SignatureDefs, এবং কাস্টম অপ্স সহ সার্ভিং মডেল কভার করে। এক্সটেনশনের জন্য, README নোট করে যে স্থাপত্য অত্যন্ত মডুলার, যা ব্যাচ শিডিউলিং-এর মতো অংশগুলিকে পৃথকভাবে ব্যবহার বা নতুন ব্যবহারের ক্ষেত্রে এক্সটেন্ড করার অনুমতি দেয়। এটি স্থাপত্য ডকুমেন্টেশন, C++ API রেফারেন্স, এবং একটি নতুন ধরনের সার্ভেবল বা সার্ভেবল ভার্সনের কাস্টম সোর্স তৈরি করার জন্য গাইডের দিকে নির্দেশ করে। অবদানের নির্দেশিকা রিপোজিটরিতে উপলব্ধ, এবং আরও তথ্যের জন্য অফিসিয়াল TensorFlow ওয়েবসাইট উল্লেখ করা হয়েছে।