mobilerun

Mobilerun es un marco de código abierto que permite a los agentes de LLM controlar dispositivos Android y iOS usando comandos de lenguaje natural. Es independiente del modelo, admitiendo proveedores como OpenAI, Anthropic, Gemini, xAI, Ollama, DeepSeek, OpenRouter y cualquier API compatible con OpenAI. El marco conecta el vacío entre los grandes modelos de lenguaje y los dispositivos móviles físicos o virtuales, permitiendo a los usuarios describir tareas en inglés llano y que un agente las ejecute en un teléfono. El núcleo del tiempo de ejecución se llama Portal, que se instala en el dispositivo objetivo. Expone árboles de UI, capturas de pantalla, entrada de texto, gestos, lanzamiento de aplicaciones y estado del dispositivo al agente. El agente puede operar en dos modos: un modo directo para tareas sencillas y un modo de razonamiento (habilitado con --reasoning) que usa una arquitectura de administrador-ejecutor para flujos de trabajo complejos y multietapa. Un modo de visión (--vision o --vision-only) envía capturas de pantalla al LLM para comprensión visual, lo cual es especialmente útil para aplicaciones que carecen de información del árbol de accesibilidad. Los usuarios pueden interactuar con Mobilerun a través de varias interfaces: una herramienta de línea de comandos (CLI) para tareas puntuales, inspección de dispositivos, reproducción de macros y depuración; una API de Python para construir flujos de trabajo de automatización personalizados e integrar herramientas a medida; y Docker para entornos contenedorizados repetibles. La guía rápida de la CLI implica instalar mediante uv, ejecutar mobilerun setup para instalar la aplicación Portal en el dispositivo, configurar un proveedor de LLM con mobilerun configure y luego ejecutar comandos como mobilerun run "Open settings and turn on dark mode". El marco admite salida estructurada para devolver datos legibles por máquina de flujos de trabajo móviles, herramientas personalizadas para extender las capacidades del agente y tarjetas de aplicación que proporcionan orientación específica de la aplicación para mejorar el rendimiento del agente en casos de uso particulares. El trazado y la telemetría están integrados, con soporte para Arize Phoenix, Langfuse, trayectorias guardadas y registros detallados para depurar la ejecución del agente. Mobilerun también ofrece un servicio en la nube (Mobilerun Cloud) que proporciona infraestructura gestionada, dispositivos reales o virtuales alojados, APIs REST, SDKs y flujos de trabajo impulsados por paneles. Los tipos de dispositivos en la nube incluyen dispositivos personales conectados a la nube, teléfonos alojados en la nube para automatización a escala y teléfonos físicos alojados para flujos de trabajo que requieren alta autenticidad del dispositivo. Ejemplos de casos de uso en la nube incluyen automatizar WhatsApp en un teléfono en la nube y generar leads desde Google Maps. Los casos de uso típicos incluyen QA y pruebas de regresión de aplicaciones móviles, flujos de trabajo guiados para usuarios no técnicos, automatización de tareas repetitivas, automatización basada en eventos desde horarios o notificaciones, extracción de datos de aplicaciones móviles nativas y ejecución de automatizaciones en múltiples dispositivos simultáneamente. El proyecto también proporciona una habilidad mobile-harness que puede integrarse en agentes de codificación como Claude Code o Codex para darles control directo de dispositivos móviles. El proyecto está licenciado bajo la Licencia MIT y acoge contribuciones. Las comprobaciones de seguridad pueden ejecutarse con bandit y safety scan. Se admiten Python 3.11 a 3.13; Python 3.14 no está actualmente admitido.