À propos du projet

Turbo AI Chat est une application de chat LLM native sur appareil conçue pour HarmonyOS NEXT. Le projet est construit via ArkTS, C++ N-API et MNN Runtime, réalisant une chaîne d'inférence purement native qui se connecte directement au NDK HarmonyOS sans couche de compatibilité Android (ArkTS → N-API → MNN → CPU). Les principales fonctionnalités comprennent : - Inférence locale : prend en charge l'exécution directe de LLM sur l'appareil sans dépendance réseau, offrant une sortie en flux continu et une fonction d'interruption de génération. - Gestion des modèles : place de marché des modèles intégrée, prenant en charge le téléchargement en un clic de modèles pré-réglés depuis ModelScope (tels que Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it), ainsi que l'importation manuelle de répertoires de modèles MNN compatibles via zip ou hdc. - Capacité multimodale : prend en charge la conversation textuelle et la compréhension d'images (dépendant de modèles MNN multimodaux compatibles). - Outils pour développeurs : fournit une surveillance de l'exécution en temps réel (CPU, mémoire, température, indicateurs TTFT/TPOT, etc.) ainsi qu'un service d'API compatible OpenAI sur le réseau local, permettant à des clients externes (tels que Cherry Studio) d'appeler le modèle sur l'appareil. - Optimisation de l'interaction : adapté aux fenêtres de téléphones, tablettes et PC, prend en charge la saisie vocale en mandarin hors ligne et offre un rendu Markdown complet (y compris la copie de blocs de code, les tableaux, etc.). Ce projet fournit une base d'ingénierie vérifiable pour les développeurs explorant la solution « Hongmeng + IA locale ».