Sobre el proyecto

Turbo AI Chat es una aplicación de chat de modelos grandes nativa diseñada específicamente para HarmonyOS NEXT. El proyecto está construido mediante ArkTS, C++ N-API y MNN Runtime, implementando una cadena de inferencia puramente nativa que se conecta directamente al HarmonyOS NDK sin necesidad de una capa de compatibilidad de Android (ArkTS → N-API → MNN → CPU). Las funciones principales incluyen: - Inferencia local: Soporta la ejecución de LLM directamente en el dispositivo sin dependencia de red, proporcionando salida en streaming y funciones de interrupción de generación. - Gestión de modelos: Incluye una plaza de modelos integrada que permite descargar modelos preestablecidos desde ModelScope con un solo clic (como Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it), y soporta la importación manual de directorios de modelos MNN compatibles a través de zip o hdc. - Capacidades multimodales: Soporta diálogos de texto y comprensión de imágenes (dependiendo de modelos MNN multimodales compatibles). - Herramientas para desarrolladores: Proporciona monitoreo de ejecución en tiempo real (indicadores de CPU, memoria, temperatura, TTFT/TPOT, etc.) y un servicio de API compatible con OpenAI en red local, permitiendo que clientes externos (como Cherry Studio) llamen al modelo del dispositivo. - Optimización de interacción: Adaptado para ventanas de teléfono, tableta y PC, soporta entrada de voz en mandarín offline y ofrece un renderizado completo de Markdown (incluyendo copia de bloques de código, tablas, etc.). Este proyecto proporciona una línea base de ingeniería verificable para los desarrolladores que exploran soluciones de «HarmonyOS + AI local».