mobilerun

Mobilerun é um framework open-source que permite que agentes de LLM controlem dispositivos Android e iOS usando comandos em linguagem natural. Ele é agnóstico de modelo, suportando provedores como OpenAI, Anthropic, Gemini, xAI, Ollama, DeepSeek, OpenRouter e qualquer API compatível com OpenAI. O framework preenche a lacuna entre grandes modelos de linguagem e dispositivos móveis físicos ou virtuais, permitindo que usuários descrevam tarefas em inglês simples e tenham um agente executando-as em um telefone. O runtime principal é chamado de Portal, que é instalado no dispositivo alvo. Ele expõe árvores de UI, capturas de tela, entrada de texto, gestos, inicialização de aplicativos e estado do dispositivo ao agente. O agente pode operar em dois modos: um modo direto para tarefas simples e um modo de raciocínio (habilitado com --reasoning) que usa uma arquitetura de gerente-executor para fluxos de trabalho complexos e de várias etapas. Um modo de visão (--vision ou --vision-only) envia capturas de tela para o LLM para compreensão visual, o que é especialmente útil para aplicativos que não possuem informações de árvore de acessibilidade. Os usuários podem interagir com o Mobilerun por meio de várias interfaces: uma ferramenta de linha de comando (CLI) para tarefas únicas, inspeção de dispositivo, reprodução de macros e depuração; uma API Python para construir fluxos de automação personalizados e integrar ferramentas personalizadas; e Docker para ambientes conteinerizados repetíveis. O início rápido da CLI envolve instalar via uv, executar mobilerun setup para instalar o aplicativo Portal no dispositivo, configurar um provedor de LLM com mobilerun configure e, em seguida, executar comandos como mobilerun run "Open settings and turn on dark mode". O framework suporta saída estruturada para retornar dados legíveis por máquina de fluxos de trabalho móveis, ferramentas personalizadas para estender as capacidades do agente e cartões de aplicativo que fornecem orientação específica do aplicativo para melhorar o desempenho do agente em casos de uso específicos. Rastreamento e telemetria são integrados, com suporte para Arize Phoenix, Langfuse, trajetórias salvas e logs detalhados para depurar a execução do agente. O Mobilerun também oferece um serviço em nuvem (Mobilerun Cloud) que fornece infraestrutura gerenciada, dispositivos reais ou virtuais hospedados, APIs REST, SDKs e fluxos de trabalho orientados por painel. Os tipos de dispositivos em nuvem incluem dispositivos pessoais conectados à nuvem, telefones hospedados em nuvem para automação escalável e telefones físicos hospedados para fluxos de trabalho que exigem alta autenticidade do dispositivo. Exemplos de casos de uso em nuvem incluem automatizar o WhatsApp em um telefone em nuvem e gerar leads do Google Maps. Casos de uso típicos incluem QA de aplicativos móveis e testes de regressão, fluxos de trabalho guiados para usuários não técnicos, automação de tarefas repetitivas, automação orientada a eventos a partir de agendamentos ou notificações, extração de dados de aplicativos móveis nativos e execução de automações em vários dispositivos simultaneamente. O projeto também fornece uma habilidade mobile-harness que pode ser integrada a agentes de codificação como Claude Code ou Codex para dar a eles controle direto de dispositivos móveis. O projeto é licenciado sob a Licença MIT e aceita contribuições. Verificações de segurança podem ser executadas com bandit e safety scan. Python 3.11 a 3.13 são suportados; Python 3.14 não é suportado atualmente.