mobilerun

Mobilerun est un framework open-source qui permet aux agents LLM de contrôler les appareils Android et iOS à l'aide de commandes de langage naturel. Il est agnostique en termes de modèle, prenant en charge des fournisseurs tels que OpenAI, Anthropic, Gemini, xAI, Ollama, DeepSeek, OpenRouter et n'importe quel API compatible OpenAI. Le framework comble le fossé entre les grands modèles de langage et les appareils mobiles physiques ou virtuels, permettant aux utilisateurs de décrire des tâches en anglais clair et de les exécuter sur un téléphone. Le runtime principal, appelé Portal, est installé sur l'appareil cible et expose les arbres d'interface utilisateur, les captures d'écran, la saisie de texte, les gestes, le lancement d'applications et l'état de l'appareil à l'agent. L'agent peut fonctionner dans deux modes : un mode direct pour les tâches simples et un mode de raisonnement (activé avec --reasoning) qui utilise une architecture gestionnaire-exécuteur pour les flux de travail complexes et mult étapes. Un mode vision ( --vision ou --vision-only) envoie des captures d'écran au LLM pour une compréhension visuelle, ce qui est particulièrement utile pour les applications qui manquent d'informations d'arbre d'accessibilité. Les utilisateurs peuvent interagir avec Mobilerun via plusieurs interfaces : un outil de ligne de commande (CLI) pour les tâches ponctuelles, l'inspection des appareils, la lecture de macros et le débogage ; une API Python pour la construction de flux de travail d'automatisation personnalisés et l'intégration d'outils personnalisés ; et Docker pour des environnements conteneurisés reproductibles. Le démarrage rapide de la CLI implique l'installation via uv, l'exécution de mobilerun setup pour installer l'application Portal sur l'appareil, la configuration d'un fournisseur LLM avec mobilerun configure, puis l'exécution de commandes comme mobilerun run "Ouvrir les paramètres et activer le mode sombre". Le framework prend en charge la sortie structurée pour renvoyer des données lisibles par machine à partir de flux de travail mobiles, des outils personnalisés pour étendre les capacités de l'agent et des cartes d'applications qui fournissent des conseils spécifiques à l'application pour améliorer les performances de l'agent sur des cas d'utilisation particuliers. La traçabilité et la télémétrie sont intégrées, avec une prise en charge d'Arize Phoenix, Langfuse, des trajectoires enregistrées et des journaux détaillés pour déboguer l'exécution de l'agent. Mobilerun propose également un service cloud (Mobilerun Cloud) qui fournit une infrastructure gérée, des appareils réels ou virtuels hébergés, des API REST, des SDK et des flux de travail pilotés par tableau de bord. Les types d'appareils cloud incluent des appareils personnels connectés au cloud, des téléphones hébergés dans le cloud pour une automatisation évolutive et des téléphones physiques hébergés pour des flux de travail nécessitant une haute authenticité d'appareil. Les cas d'utilisation typiques incluent les tests de régression et de qualité des applications mobiles, les flux de travail guidés pour les utilisateurs non techniques, l'automatisation de tâches répétitives, l'automatisation basée sur les événements à partir de plans ou de notifications, l'extraction de données à partir d'applications mobiles natives et l'exécution d'automatisations sur plusieurs appareils simultanément. Le projet fournit également une compétence de harnais mobile qui peut être intégrée à des agents de codage comme Claude Code ou Codex pour leur donner un contrôle direct des appareils mobiles. Le projet est sous licence MIT et accepte les contributions. Les vérifications de sécurité peuvent être exécutées avec bandit et safety scan. Python 3.11 à 3.13 sont pris en charge ; Python 3.14 n'est pas actuellement pris en charge.