منصوبے کے بارے میں

میگنیٹیوڈ ایک Apache-2.0 لوکل انفرنس انجن ہے جو اوپن ویٹ ماڈلز چلانے اور انہیں ایجنٹ ایپلیکیشنز سے جوڑنے کے لیے استعمال ہوتا ہے۔ یہ macOS، Windows اور Linux کے لیے ڈیسک ٹاپ ایپلیکیشن کے طور پر فراہم کیا جاتا ہے، اور ایپ میں علیحدہ انسٹالیشن کے بغیر میگنیٹیوڈ CLI شامل ہوتی ہے۔ صارفین تجویز کردہ ماڈلز دریافت اور ڈاؤن لوڈ کر سکتے ہیں، پھر کنکشنز اسکرین کے ذریعے معاون ایجنٹس سے منسلک ہو سکتے ہیں۔ پروجیکٹ کا اہم تکنیکی طریقہ یہ ہے کہ ماڈل چلانے سے پہلے اصل ڈیوائس پر کمپیوٹ کرنلز کو مرتب اور ٹیون کیا جائے، بجائے صرف وسیع ہارڈویئر کلاسز کے لیے بنائے گئے کرنلز پر انحصار کرنے کے۔ اس میں منتخب مقبول اوپن ویٹ ماڈل فیملیز کے لیے ہاتھ سے بہتر بنائے گئے کرنلز بھی شامل ہیں۔ README میں llama.cpp کے مقابلے میں بینچ مارک نتائج رپورٹ کیے گئے ہیں: Metal پر prefill میں 9% تیز اور decode میں 92% تیز، اور CUDA پر prefill میں 23% تیز اور decode میں 19% تیز، جسے مجموعی طور پر 2x تک تیز قرار دیا گیا ہے۔ دیگر بیان کردہ خصوصیات میں فی ایجنٹ کم میموری استعمال، ایجنٹس کے رکنے پر میموری کا خالی ہونا، اور متوازی سیشنز کے لیے مشترکہ پریفکس کیشز شامل ہیں۔ درج شدہ ون کلک انٹیگریشنز میں Pi، OpenCode، Hermes، OpenClaw، Codex، Claude Code، Oh My Pi اور Cline شامل ہیں۔ دیگر سافٹ ویئر OpenAI-مطابقت پذیر API استعمال کر سکتے ہیں۔ میگنیٹیوڈ Apple Silicon، NVIDIA GPUs، AMD GPUs اور CPU-only سسٹمز کو سپورٹ کرتا ہے۔ دستاویزات کے مطابق، پرامپٹس، فائلیں اور ماڈلز مقامی مشین پر رہتے ہیں، اور ماڈل ڈاؤن لوڈ ہونے کے بعد انٹرنیٹ کنکشن کی ضرورت نہیں ہوتی۔ مکمل معاون ماڈلز کی فہرست پروجیکٹ ویب سائٹ پر برقرار رکھی جاتی ہے۔