OPEN SOURCE, OPEN TO EVERYONE

اوپن سورس۔ نئے امکانات۔

معیاری اوپن سورس پروجیکٹس دریافت کریں، گمنام طور پر پروجیکٹس جمع کریں، اور اپنے پروجیکٹ کا دعویٰ کرکے اسے ایڈٹ کریں۔

انسانی انتخاب · اچھا اوپن سورس دریافت کریں4102دریافت شدہ

تجسس کے ساتھ اوپن سورس کی دنیا دریافت کریں۔

THE FIRST COLLECTION
Topic: kv-cache-compression清除
نیا

UL-SMF ایک KV کیش کمپریشن فریم ورک ہے جو طویل سیاق و سباق کے Transformer انفرنس کے لیے ہے، جس میں FSQ اور 16D لیٹنٹ میپنگ کے ذریعے 384x تک کمپریشن کا دعویٰ کیا گیا ہے۔ بنیادی کمپریشن منطق ایک ملکیتی بند سورس بائنری پر منحصر ہے۔

مصنوعی ذہانتModel runtime