Об этом проекте

Mobilerun — это опенсорсный фреймворк, который позволяет LLM-агентам управлять устройствами Android и iOS с помощью команд на естественном языке. Он не зависит от конкретной модели и поддерживает таких провайдеров, как OpenAI, Anthropic, Gemini, xAI, Ollama, DeepSeek, OpenRouter и любые API, совместимые с OpenAI. Фреймворк устраняет разрыв между большими языковыми моделями и физическими или виртуальными мобильными устройствами, позволяя пользователям описывать задачи на простом английском языке, а агенту — выполнять их на телефоне. Основной компонент среды выполнения называется Portal и устанавливается на целевое устройство. Он предоставляет агенту деревья UI, скриншоты, ввод текста, жесты, запуск приложений и состояние устройства. Агент может работать в двух режимах: прямом режиме для простых задач и режиме рассуждений (включается с помощью --reasoning), который использует архитектуру менеджер-исполнитель для сложных многошаговых рабочих процессов. Режим зрения (--vision или --vision-only) отправляет скриншоты в LLM для визуального понимания, что особенно полезно для приложений, не имеющих информации о дереве доступности. Пользователи могут взаимодействовать с Mobilerun через несколько интерфейсов: инструмент командной строки (CLI) для разовых задач, проверки устройств, воспроизведения макросов и отладки; Python API для создания пользовательских рабочих процессов автоматизации и интеграции пользовательских инструментов; и Docker для воспроизводимых контейнерных сред. Быстрый старт через CLI включает установку через uv, запуск mobilerun setup для установки приложения Portal на устройство, настройку LLM-провайдера с помощью mobilerun configure, а затем выполнение команд, таких как mobilerun run "Открой настройки и включи темный режим". Фреймворк поддерживает структурированный вывод для возврата машиночитаемых данных из мобильных рабочих процессов, пользовательские инструменты для расширения возможностей агента и карточки приложений, которые предоставляют специфические для приложений рекомендации для улучшения производительности агента в конкретных случаях использования. Трассировка и телеметрия встроены, с поддержкой Arize Phoenix, Langfuse, сохраненных траекторий и подробных журналов для отладки выполнения агента. Mobilerun также предлагает облачный сервис (Mobilerun Cloud), который предоставляет управляемую инфраструктуру, размещенные реальные или виртуальные устройства, REST API, SDK и рабочие процессы на основе панелей управления. Типы облачных устройств включают личные устройства, подключенные к облаку, облачные телефоны для масштабируемой автоматизации и физические размещенные телефоны для рабочих процессов, требующих высокой подлинности устройств. Примеры облачных случаев использования включают автоматизацию WhatsApp на облачном телефоне и генерацию лидов из Google Maps. Типичные случаи использования включают QA и регрессионное тестирование мобильных приложений, управляемые рабочие процессы для нетехнических пользователей, автоматизацию повторяющихся задач, автоматизацию, управляемую событиями из расписаний или уведомлений, извлечение данных из нативных мобильных приложений и запуск автоматизации на нескольких устройствах одновременно. Проект также предоставляет навык mobile-harness, который можно интегрировать в агентов кодирования, таких как Claude Code или Codex, чтобы дать им прямой контроль над мобильными устройствами. Проект лицензирован под MIT License и приветствует вклад. Проверки безопасности можно запускать с помощью bandit и safety scan. Поддерживаются Python 3.11–3.13; Python 3.14 в настоящее время не поддерживается.