इस प्रोजेक्ट के बारे में

Turbo AI Chat एक नेटिव ऑन-डिवाइस लार्ज मॉडल चैट एप्लिकेशन है जिसे विशेष रूप से HarmonyOS NEXT के लिए डिज़ाइन किया गया है। यह प्रोजेक्ट ArkTS, C++ N-API और MNN Runtime का उपयोग करके बनाया गया है, जो Android कम्पैटिबिलिटी लेयर की आवश्यकता के बिना, सीधे HarmonyOS NDK से जुड़ने वाले एक शुद्ध नेटिव इन्फरेंस लिंक (ArkTS → N-API → MNN → CPU) को लागू करता है। मुख्य विशेषताओं में शामिल हैं: - स्थानीय इन्फरेंस: डिवाइस पर सीधे LLM चलाने का समर्थन करता है, जिसमें नेटवर्क निर्भरता की आवश्यकता नहीं होती है, और यह स्ट्रीमिंग आउटपुट और जनरेशन इंटरप्शन सुविधा प्रदान करता है। - मॉडल प्रबंधन: इसमें एक बिल्ट-इन मॉडल स्क्वायर है, जो ModelScope से प्रीसेट मॉडल (जैसे Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it) को एक क्लिक में डाउनलोड करने का समर्थन करता है, और zip या hdc के माध्यम से संगत MNN मॉडल निर्देशिकाओं को मैन्युअल रूप से आयात करने का समर्थन करता है। - मल्टीमॉडल क्षमताएं: टेक्स्ट संवाद और इमेज अंडरस्टैंडिंग का समर्थन करता है (संगत मल्टीमॉडल MNN मॉडल पर निर्भर)। - डेवलपर टूल: रीयल-टाइम रनिंग मॉनिटरिंग (CPU, मेमोरी, तापमान, TTFT/TPOT जैसे मेट्रिक्स) और स्थानीय नेटवर्क OpenAI संगत API सेवा प्रदान करता है, जिससे बाहरी क्लाइंट्स (जैसे Cherry Studio) डिवाइस-एंड मॉडल को कॉल कर सकते हैं। - इंटरैक्शन ऑप्टिमाइज़ेशन: फोन, टैबलेट और PC विंडो के लिए अनुकूलित है, ऑफलाइन मंदारिन वॉयस इनपुट का समर्थन करता है, और पूर्ण Markdown रेंडरिंग (कोड ब्लॉक कॉपी, टेबल आदि सहित) प्रदान करता है। यह प्रोजेक्ट उन डेवलपर्स के लिए एक सत्यापन योग्य इंजीनियरिंग बेसलाइन प्रदान करता है जो "HarmonyOS + Local AI" समाधानों का पता लगा रहे हैं।