منصوبے کے بارے میں

ٹینسر فلو سروِنگ مشین لرننگ ماڈلز کے لیے ایک سروِنگ سسٹم ہے، جو پروڈکشن ماحول کے لیے ڈیزائن کیا گیا ہے۔ یہ انفرنس مرحلے پر توجہ مرکوز کرتا ہے: تربیت یافتہ ماڈلز لینا، ان کی زندگیوں کا انتظام کرنا، اور کلائنٹس کو ایک اعلیٰ کارکردگی، ریفرنس کاؤنٹڈ لُک اپ ٹیبل کے ذریعے ورژن شدہ رسائی فراہم کرنا۔ اگرچہ یہ ٹینسر فلو ماڈلز کے ساتھ فوری طور پر مربوط ہو جاتا ہے، اس کا آرکیٹیکچر دیگر ماڈل اقسام اور ڈیٹا تک توسیع کی اجازت دیتا ہے۔ README میں بیان کردہ کلیدی صلاحیتیں شامل ہیں: - بیک وقت متعدد ماڈلز، یا ایک ہی ماڈل کے متعدد ورژنز کی خدمت کرنا۔ - gRPC اور HTTP دونوں انفرنس اینڈ پوائنٹس فراہم کرنا۔ - کلائنٹ کوڈ میں تبدیلی کیے بغیر نئے ماڈل ورژنز تعینات کرنا۔ - نئے ورژنز کی کینریئنگ اور تجرباتی ماڈلز کی A/B ٹیسٹنگ کی حمایت کرنا۔ - کم اوور ہیڈ نفاذ کی وجہ سے کم سے کم تاخیر شامل کرنا۔ - ایک شیڈیولر جو انفرادی انفرنس درخواستوں کو GPU پر مشترکہ عمل آوری کے لیے بیچوں میں گروپ کرتا ہے، قابل ترتیب تاخیر کنٹرولز کے ساتھ۔ - بہت سے سرو ایبلز کی حمایت: ٹینسر فلو ماڈلز، ایمبیڈنگز، ووکیبلریز، فیچر ٹرانسفارمیشنز، اور یہاں تک کہ غیر ٹینسر فلو پر مبنی مشین لرننگ ماڈلز۔ README ڈوکر کا استعمال کرتے ہوئے ایک کوئیک اسٹارٹ مثال فراہم کرتا ہے: tensorflow/serving امیج پل کریں، ریپوزٹری کلون کریں، ایک ڈیمو ماڈل ماؤنٹ کے ساتھ کنٹینر شروع کریں، اور curl درخواست کے ساتھ REST API سے استفسار کریں۔ یہ سرکاری ٹینسر فلو ڈاکیومنٹیشن سائٹ پر ایک اینڈ ٹو اینڈ ٹریننگ اور سروِنگ ٹیوٹوریل کا بھی لنک دیتا ہے۔ ڈاکیومنٹیشن سیٹ اپ کے اختیارات کا احاطہ کرتی ہے، بشمول ڈوکر (تجویز کردہ)، ڈوکر کے بغیر انسٹالیشن، ڈوکر کے ساتھ سورس سے بلڈ کرنا، اور Kubernetes پر تعیناتی۔ استعمال کی رہنمائی بتاتی ہے کہ ٹینسر فلو ماڈل کو SavedModel کے طور پر ایکسپورٹ کیسے کریں، پھر ٹینسر فلو سروِنگ کو کنفیگر اور استعمال کریں۔ اضافی گائیڈز کارکردگی، TensorBoard پروفائلنگ، REST API، gRPC API تعریف، SavedModel وارم اپ، SignatureDefs، اور کسٹم اوپس کے ساتھ ماڈلز کی خدمت کا احاطہ کرتی ہیں۔ توسیع کے لیے، README نوٹ کرتا ہے کہ آرکیٹیکچر انتہائی ماڈیولر ہے، جس سے بیچ شیڈیولنگ جیسے حصوں کو انفرادی طور پر استعمال کرنے یا نئے استعمال کے کیسز کے لیے توسیع کرنے کی اجازت ملتی ہے۔ یہ آرکیٹیکچر ڈاکیومنٹیشن، C++ API حوالہ، اور نئی قسم کے Servable یا Servable ورژنز کے کسٹم سورس بنانے کے گائیڈز کی طرف اشارہ کرتا ہے۔ شراکت کی ہدایات ریپوزٹری میں دستیاب ہیں، اور مزید معلومات کے لیے سرکاری ٹینسر فلو ویب سائٹ کا حوالہ دیا گیا ہے۔