منصوبے کے بارے میں

llmfit ایک کمانڈ لائن ٹول ہے جو آپ کو یہ فیصلہ کرنے میں مدد کرتا ہے کہ آپ کی مشین کون سے اوپن سورس بڑے لینگویج ماڈلز چلا سکتی ہے۔ یہ CPU کورز، سسٹم RAM، علیحدہ یا مربوط GPUs، VRAM اور یونیفائیڈ میموری سیٹ اپس (NVIDIA CUDA، Apple Silicon، AMD ROCm، Intel OneAPI) کا معائنہ کرتا ہے، پھر اپنے کیٹلاگ میں موجود ماڈلز کو چار جہتوں پر اسکور کرتا ہے: میموری فٹ، تخمینی رفتار، معیار اور سیاق و سباق کی لمبائی۔ README میں بیان کردہ اہم صلاحیتیں: - macOS (Apple Silicon اور Intel)، Linux (x86_64 اور ARM64) اور Windows (x86_64) پر ہارڈویئر کی خودکار شناخت۔ - ایک مطابقت انجن جو پیرامیٹر کی تعداد، سیاق و سباق کی لمبائی اور کوانٹائزیشن فارمیٹس (GGUF، AWQ، GPTQ، EXL2) پر غور کرتا ہے تاکہ میموری کے نشانات اور ٹوکنز-فی-سیکنڈ کارکردگی کا تخمینہ لگایا جا سکے۔ - ایک انٹرایکٹو ٹرمینل UI (ڈیفالٹ) کے ساتھ ساتھ کلاسک CLI موڈ، فلٹرنگ، ہیلپ کی بائنڈنگز اور نیویگیشن کے ساتھ۔ - ایک ویب ڈیش بورڈ اور ایک مقامی HTTP API سرور جو JSON اینڈ پوائنٹس جیسے /api/v1/system اور /api/v1/models کو ظاہر کرتا ہے، جو آرکیسٹریٹرز، ڈیش بورڈز اور تعیناتی پائپ لائنز کے لیے ہے۔ - ملٹی GPU سیٹ اپس، MoE آرکیٹیکچرز، متحرک کوانٹائزیشن سلیکشن اور مقامی رن ٹائم فراہم کنندگان بشمول Ollama، llama.cpp، MLX، Docker Model Runner اور LM Studio کے لیے سپورٹ۔ - بینچ مارکنگ: ایک ماڈل ڈاؤن لوڈ اور پیش کریں، حقیقی tok/s اور TTFT کی پیمائش کریں، نتائج مقامی طور پر محفوظ کریں، اور اختیاری طور پر TUI سے PR کے ذریعے انہیں پروجیکٹ میں واپس شیئر کریں۔ کمیونٹی کی پیمائشیں فٹ ٹیبل میں تخمینوں کی جگہ لے سکتی ہیں۔ - اسٹوریج پلاننگ کمانڈز تاکہ قابل چلانے والے ماڈلز کی منتخب تعداد رکھنے کے لیے SSD صلاحیت کا تخمینہ لگایا جا سکے۔ انسٹالیشن کے اختیارات میں Windows پر Scoop، macOS/Linux پر Homebrew اور MacPorts، ایک curl انسٹال اسکرپٹ، uv/pip پیکیجنگ، پری بلٹ ریلیز بائنریز، اور ایک ملٹی آرکیٹیکچر Docker امیج (ghcr.io/alexsjones/llmfit) شامل ہیں جو انٹرایکٹو TUI اور ہیڈ لیس سرور موڈز کو سپورٹ کرتی ہے۔ سورس سے تعمیر Cargo استعمال کرتی ہے۔ عام کمانڈز میں `llmfit recommend` (بشمول `--json`)، `llmfit fit`، `llmfit info "<model>"`، `llmfit bench`، `llmfit doctor`، `llmfit storage` اور `llmfit serve` شامل ہیں۔ README نوٹ کرتا ہے کہ رفتار کے تخمینے میموری بینڈوتھ ماڈل سے آتے ہیں جو رن ٹائم سیمپلنگ اور کمیونٹی پیمائشوں پر مبنی ہے، اور یہ کہ `llmfit info` ہر تخمینے کے پیچھے مفروضے دکھاتا ہے۔ پروجیکٹ MIT لائسنس یافتہ ہے اور شراکت کا خیرمقدم کرتا ہے، خاص طور پر نئے ماڈل اندراجات۔