这个项目能做什么

Turbo AI Chat 是一个专为 HarmonyOS NEXT 设计的原生端侧大模型聊天应用。该项目通过 ArkTS、C++ N-API 和 MNN Runtime 构建,实现了无需 Android 兼容层、直接对接 HarmonyOS NDK 的纯原生推理链路(ArkTS → N-API → MNN → CPU)。 主要功能包括: - 本地推理:支持在设备端直接运行 LLM,无需网络依赖,提供流式输出和生成中断功能。 - 模型管理:内置模型广场,支持从 ModelScope 一键下载预置模型(如 Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it),并支持通过 zip 或 hdc 手动导入兼容的 MNN 模型目录。 - 多模态能力:支持文本对话及图片理解(依赖兼容的多模态 MNN 模型)。 - 开发者工具:提供实时运行监控(CPU、内存、温度、TTFT/TPOT 等指标)以及局域网 OpenAI 兼容 API 服务,允许外部客户端(如 Cherry Studio)调用设备端模型。 - 交互优化:适配手机、平板和 PC 窗口,支持离线普通话语音输入,并提供完善的 Markdown 渲染(含代码块复制、表格等)。 该项目为探索「鸿蒙 + 本地 AI」方案的开发者提供了一个可验证的工程基线。