lociant

Lociant 是一个 Android 原生的本地 AI 运行时，旨在将低功耗、常开的边缘设备（如 Android 手机、Rockchip 开发板和小型 Linux 系统）转变为受控的边缘节点。它支持本地模型执行、基于硬件的设备能力以及经过认证的局域网连接，同时将执行和策略保留在设备端而非云端。 该项目支持导入 GGUF 模型，并通过 llama.cpp 在本地运行推理。设备能力包括屏幕控制、无障碍功能、摄像头访问、传感器、文件操作以及权限允许下的进程管理。外部客户端可以通过 MCP Streamable HTTP 或运行在 11434 端口上的控制 API 进行连接。 支持的设备角色： - Android 手机：完整的边缘节点，包含 Flutter 控制台、Rust 后端和 Kotlin 设备层 - Rockchip 开发板：无头边缘节点，包含 Rust 服务、RKLLM NPU 运行时和终端 TUI - Linux 桌面：图形化控制器和开发主机 该架构使用共享的 Rust 后端进行模型清单、工具注册、对等网络和策略执行。GGUF 推理作为本地 llama.cpp 进程运行，NCNN 处理 Android 上的摄像头和视觉操作，RKLLM 用于受支持的 Rockchip 开发板。 工具暴露遵循累积权限模型（读取、传感器、操作），每个工具在执行前都会检查 remoteAllowed 策略。该运行时不提供聊天 UI 或通用代理循环；相反，它充当一个受控的能力层，供云端或桌面客户端编排。 构建和运行详情可在仓库的 apps 目录中找到，其中包含 Flutter UI、Rust 后端和 Android 设备层的独立组件。