منصوبے کے بارے میں

NobodyWho ایک انفرنس انجن ہے جو آپ کو بڑے لینگویج ماڈلز (LLMs) کسی بھی ڈیوائس پر مقامی طور پر اور مؤثر طریقے سے چلانے کی سہولت دیتا ہے۔ یہ GGUF فارمیٹ میں کسی بھی چیٹ LLM کو چلانے کی حمایت کرتا ہے، بشمول Gemma، Qwen، اور Mistral، Vulkan یا Metal کے ذریعے GPU ایکسیلیریشن کے ساتھ۔ اہم خصوصیات میں تیز، ٹائپ-سیف ٹول کالنگ خودکار طور پر تیار کردہ ساختی گرامر کے ساتھ، ملٹی موڈل ان پٹ (تصویر اور آڈیو)، ٹیکسٹ ٹو اسپیچ، اسپیچ ٹو ٹیکسٹ، اور وائس ایکٹیویٹی ڈیٹیکشن شامل ہیں۔ ماڈلز کو براہ راست Hugging Face یا کسی بھی URL سے ڈاؤن لوڈ کیا جا سکتا ہے۔ یہ انجن Rust پر بنایا گیا ہے جس میں Kotlin، Swift، React Native/Expo، Flutter، Python، اور Godot کے لیے بائنڈنگز ہیں، اور یہ OpenAI Chat Completions API کو نافذ کرنے والا ایک تجرباتی مقامی سرور بھی فراہم کرتا ہے۔ یہ ڈیسک ٹاپ (Linux، macOS، Windows)، Android، iOS، visionOS، اور watchOS پر چلتا ہے، میموری کی ضروریات ڈیسک ٹاپ پر ماڈل فائل کے سائز سے تقریباً 1.5 گنا اور موبائل پر 2 گنا ہیں۔ یہ پروجیکٹ EUPL-1.2 کے تحت لائسنس یافتہ ہے، جو ملکیتی اور تجارتی پروجیکٹس میں استعمال کی اجازت دیتا ہے۔