منصوبے کے بارے میں

LTM100 Long-Term Memory (LTM) سسٹمز کے لیے ڈیزائن کردہ ایک اینڈ ٹو اینڈ ملٹی یوزر لوڈ بینچ مارک ہے۔ یہ ورچوئل یوزرز کو حقیقی میموری ورک لوڈز کے ذریعے چلاتا ہے اور کلائنٹ کے مشاہدے میں آنے والے تھرو پٹ، لیٹنسی، ریجیکشن، اور ایرر میٹرکس کی اطلاع دیتا ہے۔ یہ ٹول واضح طور پر لوڈ، کنکرنسی، اور اسکیلیبلٹی رویے کو ماپتا ہے نہ کہ ریٹریول یا جواب کے معیار کو—یہ پریسیژن، ری کال، یا MRR کا حساب نہیں لگاتا۔ اہم صلاحیتوں میں شامل ہیں: - فکسڈ کنکرنسی اور ارائیول ڈرائیون ٹیسٹس کے لیے کلوزڈ اور اوپن لوڈ ماڈلز۔ - چار منظرنامے: چیٹ ری پلے (چیٹ بوٹ ری کال اور گفتگو انجسشن کو دہرانا)، ایڈ لوڈ (خالص میموری انجسٹ تھرو پٹ)، سرچ لوڈ (سرچ تھرو پٹ اور لیٹنسی)، اور مکسڈ (کنفیگر ایبل ایڈ/سرچ مکسچر)۔ - ویٹڈ چیٹ ورک لوڈ پروفائلز جس میں گروپ مخصوص ری کال، ٹائمنگ، اور کلوزڈ/اوپن سیشن کنٹرولز شامل ہیں۔ - اوور لوڈ ایکسپیریمنٹس کے لیے باؤنڈڈ ایڈمیشن اور ریجیکشن اکاؤنٹنگ۔ - سنگل ایونٹ لوپ کور سے آگے اسکیل کرنے کے لیے ملٹی پروسیس لوڈ جنریشن۔ - اختیاری پری انجسٹ، ریمپ اپ، را ریکوئسٹ ریکارڈز، فکسڈ انٹرول E2E ٹائم سیریز، اور سرور سائڈ لیٹنسی میٹرکس۔ - فکسڈ کوری ورک لوڈز اور آئسولیٹڈ کارپس پوائنٹس کے ساتھ دہرائے جانے والے میموری گروتھ سویپس۔ - پلگ ایبل ڈیٹا سیٹس اور بیک اینڈ ایڈاپٹرز۔ سپورٹڈ ڈیٹا سیٹس میں LongMemEval (چیٹ ری پلے کے لیے اسٹرکچرڈ یوزر/اسسٹنٹ ٹرنز کے ساتھ لوکل JSON یا Hugging Face لوڈنگ) اور ایک بنڈلڈ سنٹھیٹک ڈیٹا سیٹ (ڈیٹرمینسٹک، ڈاؤن لوڈ فری) شامل ہیں۔ سپورٹڈ بیک اینڈز میں MemMachine REST، REST لائف سائیکل مینجمنٹ کے ساتھ MemMachine MCP، اور Mem0 OSS REST شامل ہیں۔ رپورٹس JSON اور CSV کے طور پر آؤٹ پٹ ہوتی ہیں، جس میں کامیاب تھرو پٹ اور لیٹنسی کو بیک اینڈ ایررز اور کیو ریجیکشنز سے الگ رپورٹ کیا جاتا ہے تاکہ اوور لوڈ کی وجہ سے QPS میں اضافے یا سروس لیٹنسی پرسنٹائلز کو کم ہونے سے روکا جا سکے۔ اضافی آؤٹ پٹ آپشنز میں پر ریکوئسٹ را NDJSON لاگز، فکسڈ انٹرول E2E ٹائم سیریز، اور سرور سائڈ لیٹنسی بریک ڈاؤنز شامل ہیں جب ایڈاپٹر ان کی سپورٹ کرتا ہے۔ LTM100 کو Python 3.10 یا اس کے بعد کے ورژن کی ضرورت ہے اور اسے pip کے ذریعے انسٹال کیا جاتا ہے۔ یہ پروجیکٹ Apache License 2.0 کے تحت لائسنس یافتہ ہے، جس کا موجودہ ریلیز v0.4.3 ہے۔