这个项目能做什么

RunAnywhere 基于统一C++核心构建八款SDK（Swift、Kotlin、Flutter、React Native、Web、Electron、Python及命令行工具），实现跨硬件设备的离线本地AI推理，自动调度设备最优执行引擎。 **核心能力：** - 支持令牌流式传输、多轮对话历史及LoRA适配器的大语言模型聊天（Llama、Qwen、Gemma、Phi、DeepSeek等） - 视觉语言模型（VLM）实现图像理解与摄像头实时问答 - 语音转文本（Whisper、Moonshine）与文本转语音（Piper、Kokoro、MeloTTS） - 语音代理流程（VAD + STT + LLM + TTS） - 本地文档加载与流式处理的嵌入向量及RAG系统 - 基于Stable Diffusion（Core ML）的图像生成与Hexagon NPU图像修复 - 结构化JSON输出、工具调用及代理循环 - 计算机操作解析器（CUA） **推理引擎：** - QHexRT：专为高通Hexagon NPU（v75/v79/v81）设计的运行时，直接在NPU上执行大语言模型、视觉语言模型、语音及文本转语音任务，支持混合专家模型（MoE）和1-bit量化模型 - MLX：Apple原生推理引擎，支持大语言模型、视觉语言模型、语音转文本、文本转语音及嵌入向量 - llama.cpp：通过Metal（Apple）、CUDA（NVIDIA，需启用）、WebGPU/WASM（浏览器）及CPU（NEON/AVX）实现全平台运行 - sherpa + ONNX：跨平台语音、VAD及嵌入向量处理 - Core ML：iOS/macOS设备上的扩散模型图像生成 **扩展功能：** - 通过Python SDK和CLI提供兼容OpenAI的服务器模式，开放聊天补全、嵌入向量、音频转录/语音合成等接口 - RunAnywhere Console：支持空中模型部署及设备集群遥测数据收集的控制平面 - Connect（局域网）：允许macOS主机通过可信局域网向iOS/Android客户端共享已加载模型 - 能力发现API（capabilities()）供应用查询当前设备及引擎的实际执行能力 SDK成熟度差异：Swift、Kotlin及rcli已稳定；Flutter、React Native与Web处于测试阶段；Electron为预览版；Python处于Alpha阶段。