منصوبے کے بارے میں

Turbo AI Chat ایک نیٹیو آن-ڈیوائس لارج ماڈل چیٹ ایپلی کیشن ہے جسے خاص طور پر HarmonyOS NEXT کے لیے ڈیزائن کیا گیا ہے۔ یہ پروجیکٹ ArkTS، C++ N-API اور MNN Runtime کے ذریعے بنایا گیا ہے، جس نے Android ہم آہنگی تہہ (compatibility layer) کے بغیر، براہ راست HarmonyOS NDK سے منسلک ایک خالص نیٹیو انفرنس لنک (ArkTS → N-API → MNN → CPU) کو ممکن بنایا ہے۔ اہم خصوصیات میں شامل ہیں: - مقامی انفرنس (Local Inference): ڈیوائس پر براہ راست LLM چلانے کی حمایت کرتا ہے، جس کے لیے نیٹ ورک کی ضرورت نہیں ہے، اور یہ اسٹریمنگ آؤٹ پٹ اور جنریشن انٹرپٹ فنکشن فراہم کرتا ہے۔ - ماڈل مینجمنٹ: ایک بلٹ ان ماڈل اسکوائر شامل ہے، جو ModelScope سے پری سیٹ ماڈلز (جیسے Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it) کو ایک کلک سے ڈاؤن لوڈ کرنے کی اجازت دیتا ہے، اور zip یا hdc کے ذریعے ہم آہنگ MNN ماڈل ڈائریکٹریز کو دستی طور پر امپورٹ کرنے کی حمایت کرتا ہے۔ - ملٹی موڈل صلاحیتیں: ٹیکسٹ گفتگو اور تصاویر کی سمجھ بوجھ کی حمایت کرتا ہے (ہم آہنگ ملٹی موڈل MNN ماڈلز پر منحصر ہے)۔ - ڈویلپر ٹولز: ریئل ٹائم رننگ مانیٹرنگ (CPU، میموری، درجہ حرارت، TTFT/TPOT وغیرہ) اور لوکل ایریا نیٹ ورک (LAN) پر OpenAI ہم آہنگ API سروس فراہم کرتا ہے، جس سے بیرونی کلائنٹس (جیسے Cherry Studio) ڈیوائس کے ماڈلز کو کال کر سکتے ہیں۔ - انٹرایکٹو آپٹیمائزیشن: فون، ٹیبلٹ اور PC ونڈوز کے لیے موزوں ہے، آف لائن مینڈرین وائس ان پٹ کی حمایت کرتا ہے، اور مکمل Markdown رینڈرنگ (بشمول کوڈ بلاک کاپی، ٹیبلز وغیرہ) فراہم کرتا ہے۔ یہ پروجیکٹ ان ڈویلپرز کے لیے ایک قابل تصدیق انجینئرنگ بیس لائن فراہم کرتا ہے جو "HarmonyOS + Local AI" حل تلاش کر رہے ہیں۔