Об этом проекте

Turbo AI Chat — это нативное приложение для чата с большими моделями на стороне устройства, разработанное специально для HarmonyOS NEXT. Проект построен с использованием ArkTS, C++ N-API и MNN Runtime, что позволило реализовать чисто нативный конвейер вывода (ArkTS → N-API → MNN → CPU), который работает напрямую с HarmonyOS NDK без использования слоя совместимости с Android. Основные функции включают: - Локальный вывод: поддержка запуска LLM непосредственно на устройстве без зависимости от сети, с функциями потокового вывода и прерывания генерации. - Управление моделями: встроенный магазин моделей с поддержкой скачивания предустановленных моделей из ModelScope (например, Qwen3-4B-Instruct, MiniCPM5-1B, Gemma-4-E2B-it), а также поддержка ручного импорта совместимых каталогов моделей MNN через zip или hdc. - Мультимодальные возможности: поддержка текстовых диалогов и понимания изображений (при наличии совместимых мультимодальных моделей MNN). - Инструменты разработчика: мониторинг работы в реальном времени (показатели CPU, памяти, температуры, TTFT/TPOT и др.), а также совместимый с OpenAI API-сервис в локальной сети, позволяющий внешним клиентам (например, Cherry Studio) вызывать модель на устройстве. - Оптимизация взаимодействия: адаптация под окна смартфонов, планшетов и ПК, поддержка офлайн-ввода голоса на путунхуа и полноценный рендеринг Markdown (включая копирование блоков кода, таблицы и т. д.). Данный проект предоставляет проверяемую инженерную базу для разработчиков, исследующих решения «HarmonyOS + локальный AI».