lociant

Lociant es un runtime de IA local nativo de Android diseñado para convertir dispositivos de borde de bajo consumo y siempre activos —como teléfonos Android, placas Rockchip y pequeños sistemas Linux— en nodos de borde controlados. Permite la ejecución local de modelos, capacidades de dispositivo respaldadas por hardware y conexiones LAN autenticadas, manteniendo la ejecución y las políticas en el dispositivo en lugar de en la nube. El proyecto admite la importación de modelos GGUF y la ejecución de inferencia localmente mediante llama.cpp. Las capacidades del dispositivo incluyen control de pantalla, funciones de accesibilidad, acceso a cámara, sensores, operaciones de archivos y gestión de procesos donde los permisos lo permitan. Los clientes externos pueden conectarse a través de MCP Streamable HTTP o una API de control servida en el puerto 11434. Roles de dispositivo compatibles: - Teléfono Android: nodo de borde completo con consola Flutter, backend Rust y capa de dispositivo Kotlin - Placa Rockchip: nodo de borde sin interfaz gráfica con servicio Rust, runtime RKLLM NPU y TUI de terminal - Escritorio Linux: controlador gráfico y host de desarrollo La arquitectura utiliza un backend Rust compartido para inventario de modelos, registro de herramientas, red entre pares y aplicación de políticas. La inferencia GGUF se ejecuta como un proceso local de llama.cpp, NCNN gestiona las operaciones de cámara y visión en Android, y RKLLM se utiliza en placas Rockchip compatibles. La exposición de herramientas sigue un modelo de permisos acumulativos (lectura, sensor, acción), y cada herramienta tiene una política remoteAllowed que se verifica antes de la ejecución. El runtime no proporciona una interfaz de chat ni un bucle de agente de propósito general; en su lugar, actúa como una capa de capacidades controlada que los clientes en la nube o de escritorio pueden orquestar. Los detalles de compilación y ejecución están disponibles en el directorio apps del repositorio, con componentes separados para la interfaz Flutter, el backend Rust y la capa de dispositivo Android.