lociant

Lociant é um runtime de IA local nativo para Android, projetado para transformar dispositivos de borda de baixo consumo e sempre ativos — como celulares Android, placas Rockchip e pequenos sistemas Linux — em nós de borda controlados. Ele permite execução local de modelos, capacidades de dispositivo respaldadas por hardware e conexões autenticadas em LAN, mantendo a execução e as políticas no dispositivo, em vez de na nuvem. O projeto oferece suporte à importação de modelos GGUF e à execução de inferência localmente via llama.cpp. As capacidades do dispositivo incluem controle de tela, recursos de acessibilidade, acesso à câmera, sensores, operações de arquivo e gerenciamento de processos onde as permissões permitirem. Clientes externos podem se conectar por meio de MCP Streamable HTTP ou de uma API de controle servida na porta 11434. Funções de dispositivo suportadas: - Celular Android: nó de borda completo com console Flutter, backend Rust e camada de dispositivo Kotlin - Placa Rockchip: nó de borda headless com serviço Rust, runtime NPU RKLLM e TUI de terminal - Desktop Linux: controlador gráfico e host de desenvolvimento A arquitetura usa um backend Rust compartilhado para inventário de modelos, registro de ferramentas, rede entre pares e aplicação de políticas. A inferência GGUF é executada como um processo llama.cpp local, o NCNN cuida das operações de câmera e visão no Android, e o RKLLM é usado em placas Rockchip suportadas. A exposição de ferramentas segue um modelo de permissão cumulativo (leitura, sensor, ação), e cada ferramenta tem uma política remoteAllowed verificada antes da execução. O runtime não fornece uma interface de chat nem um loop de agente de propósito geral; em vez disso, atua como uma camada de capacidade controlada que clientes de nuvem ou desktop podem orquestrar. Detalhes de compilação e execução estão disponíveis no diretório apps do repositório, com componentes separados para a interface Flutter, o backend Rust e a camada de dispositivo Android.