منصوبے کے بارے میں

InferenceX (سابقہ InferenceMAX) LLM انفرنس پرفارمنس کی تحقیق اور مسلسل بینچ مارکنگ کے لیے ایک اوپن سورس پلیٹ فارم ہے۔ یہ SGLang، vLLM، TensorRT-LLM، CUDA اور ROCm جیسے مقبول انفرنس اسٹیکس میں سافٹ ویئر اور ہارڈویئر کے امتزاج کو ٹریک کرتا ہے، اور نتائج ایک عوامی پرفارمنس ڈیش بورڈ کے ذریعے شائع کرتا ہے۔ ریپوزٹری کئی اجزاء میں منظم ہے: - InferenceX-e2e: اینڈ ٹو اینڈ انفرنس سروسنگ بینچ مارکس۔ - CollectiveX: تجرباتی نیٹ ورکنگ اور اجتماعی مواصلاتی بینچ مارکس۔ - OperatorX: تجرباتی آپریٹر اور کرنل سطح کے بینچ مارکس۔ - power_model: سسٹم سطح کی بجلی کی ماڈلنگ۔ - shared: پورے پروجیکٹ میں استعمال ہونے والے مشترکہ اجزاء۔ - experimental: اضافی تجربات۔ اس پروجیکٹ میں AgentX بھی شامل ہے، ایک بینچ مارکنگ ہارنیس جسے طویل سیاق و سباق، کثیر المرحل ایجنٹک ورک لوڈز کی معاونت کے لیے بیان کیا گیا ہے۔ دستاویزات میں آرکیٹیکچر، کنفیگریشن، ورک فلو، تشخیص، رنرز، خرابیوں کا ازالہ، اور CI یا Slurm کے بغیر موجودہ سرور کی بینچ مارکنگ کے لیے ایک اسٹینڈalone `aiperf profile` راستہ شامل ہے۔ درج شدہ معاون ہارڈویئر میں NVIDIA Vera Rubin، GB300، GB200، B300، B200، H200، H100، RTX PRO 6000 Server، AMD MI355X، MI325X، MI300X، اور Google TPUv7x Ironwood Ghostfish شامل ہیں، جبکہ اضافی پلیٹ فارمز کو جلد آنے والے کے طور پر نشان زد کیا گیا ہے۔ ریپوزٹری پل ریکویسٹس کا خیرمقدم کرتی ہے اور تعاون اور جائزے کی دستاویزات فراہم کرتی ہے۔