Sobre o projeto

Turbo AI Chat é um aplicativo de chat de modelo de linguagem nativo para o lado do dispositivo, projetado especificamente para o HarmonyOS NEXT. O projeto foi construído utilizando ArkTS, C++ N-API e MNN Runtime, implementando um link de inferência puramente nativo (ArkTS → N-API → MNN → CPU) que se conecta diretamente ao HarmonyOS NDK, sem a necessidade de uma camada de compatibilidade Android. As principais funcionalidades incluem: - Inferência Local: Suporta a execução de LLMs diretamente no dispositivo, sem dependência de rede, oferecendo saída via streaming e função de interrupção de geração. - Gerenciamento de Modelos: Possui uma praça de modelos integrada, permitindo o download de modelos predefinidos do ModelScope (como Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it) com um clique, além de suportar a importação manual de diretórios de modelos MNN compatíveis via zip ou hdc. - Capacidades Multimodais: Suporta diálogos de texto e compreensão de imagens (dependendo de modelos MNN multimodais compatíveis). - Ferramentas para Desenvolvedores: Fornece monitoramento de execução em tempo real (métricas de CPU, memória, temperatura, TTFT/TPOT, etc.) e um serviço de API compatível com OpenAI em rede local, permitindo que clientes externos (como o Cherry Studio) chamem o modelo no dispositivo. - Otimização de Interação: Adaptado para janelas de smartphones, tablets e PCs, suporta entrada de voz em mandarim offline e oferece renderização completa de Markdown (incluindo cópia de blocos de código, tabelas, etc.). Este projeto fornece uma linha de base de engenharia verificável para desenvolvedores que exploram soluções de "HarmonyOS + AI Local".