lociant

Lociant는 Android 네이티브 로컬 AI 런타임으로, Android 폰, Rockchip 보드, 소형 Linux 시스템과 같은 저전력 상시 가동 에지 기기를 제어된 에지 노드로 전환하도록 설계되었다. 이는 로컬 모델 실행, 하드웨어 기반 기기 기능, 인증된 LAN 연결을 가능하게 하면서 실행과 정책을 클라우드가 아닌 기기에서 유지한다. 이 프로젝트는 GGUF 모델 가져오기와 llama.cpp를 통한 로컬 추론 실행을 지원한다. 기기 기능에는 권한이 허용하는 범위에서 화면 제어, 접근성 기능, 카메라 접근, 서, 파일 작업, 프로세스 관리가 포함된다. 외부 클라이언트는 MCP Streamable HTTP 또는 포트 11434에서 제공되는 제어 API를 통해 연결할 수 있다. 지원되는 기기 역할: - Android : Flutter 콘솔, Rust 백엔드, Kotlin 기기 계층을 갖 완전한 에지 노드 - Rockchip 보드: Rust 서비스, RKLLM NPU 타임, 미널 TUI를 갖춘 드리스 에지 노드 - Linux 데스크톱: 그래픽 컨트롤러 및 개발 호스트 아키처는 모델 인벤토리, 도구 레지스트리, 피어 네트워킹, 정책 시행을 위해 공유 Rust 백엔드를 사용한다. GGUF 추론은 로컬 llama.cpp 프로세스로 실행되고, NCNN은 Android에서 카메라 및 비전 작업을 처리하며, RKLLM은 지원되는 Rockchip 보드에서 사용된다. 도구 노출은 누적 권한 모델(읽기, 서, 동작)을 따르며, 각 도구에는 실행 전에 확인되는 remoteAllowed 정책이 있다. 타임은 채팅 UI나 범용 에이전트 루프를 제공하지 않고, 대신 클라우드 또는 데스크 클라이언트가 오케스트레이션할 수 있는 제어된 기능 계층으로 작동한다. 드 및 실행 세부 사항은 저장소의 apps 디렉터리에서 확인할 수 있으며, Flutter UI, Rust 백엔드, Android 기기 계층을 위한 별도 구성 요소가 있다.