Об этом проекте

Lociant — Android-нативный локальный AI-рантайм, предназначенный для превращения энергоэффективных устройств с постоянным подключением, таких как Android-смартфоны, платы Rockchip и компактные Linux-системы, в управляемые edge-узлы. Он обеспечивает локальное выполнение моделей, аппаратно поддерживаемые возможности устройств и аутентифицированные LAN-подключения, сохраняя исполнение и политику на устройстве, а не в облаке. Проект поддерживает импорт GGUF-моделей и выполнение инференса локально через llama.cpp. Возможности устройства включают управление экраном, функции доступности, доступ к камере, датчики, операции с файлами и управление процессами (там, где позволяют разрешения). Внешние клиенты могут подключаться через MCP Streamable HTTP или API управления, работающее на порту 11434. Поддерживаемые роли устройств: - Android-смартфон: полноценный edge-узел с Flutter-консолью, Rust-бэкендом и Kotlin-слоем устройства - Плата Rockchip: headless edge-узел с Rust-сервисом, RKLLM NPU-рантаймом и терминальным TUI - Linux-рабочий стол: графический контроллер и хост для разработки Архитектура использует общий Rust-бэкенд для управления реестром моделей, реестром инструментов, peer-сетевым взаимодействием и enforcement политик. GGUF-инференс выполняется как локальный процесс llama.cpp, NCNN обрабатывает работу с камерой и зрением на Android, а RKLLM используется на поддерживаемых платах Rockchip. Предоставление инструментов следует кумулятивной модели разрешений (чтение, датчик, действие), и каждое расширение имеет политику remoteAllowed, которая проверяется перед выполнением. Рантайм не предоставляет чат-интерфейс или цикл общего назначения агента; вместо этого он действует как контролируемый слой возможностей, которым могут оркестрировать облачные или десктопные клиенты. Детали сборки и запуска доступны в директории apps репозитория, включая отдельные компоненты для Flutter UI, Rust бэкенда и Android device layer.