منصوبے کے بارے میں

CPU-SLM ایک Rust پر مبنی پروجیکٹ ہے جو صارفین کو موثر CPU-only انفرنس کے ذریعے Sparse Language Models (SLM) اور Large Language Models (LLM) کو سمجھنے اور دریافت کرنے میں مدد کے لیے ڈیزائن کیا گیا ہے۔ یہ تیز تر کارکردگی کے لیے AVX2 ہدایات کے سیٹ استعمال کرتا ہے اور Windows، Linux، اور macOS کو سپورٹ کرتا ہے۔ ایپلیکیشن ایک صارف دوست انٹرفیس، کراس پلیٹ فارم مطابقت فراہم کرتی ہے، اور AVX2، Transformers، اور SIMD سے متعلق سیکھنے کے وسائل شامل کرتی ہے۔ انسٹالیشن میں ZIP فائل ڈاؤن لوڈ کرنا، اسے نکالنا، اور ایگزیکیوٹیبل چلانا شامل ہے۔ سسٹم کی ضروریات میں AVX2 کے قابل CPU، 4 GB RAM، اور 100 MB ڈسک اسپیس شامل ہیں۔ ٹربل شوٹنگ کے مشورے اور GitHub issues کے ذریعے سپورٹ فراہم کی گئی ہے۔