cua

Cua est un projet open source qui vise à fournir aux agents IA des ordinateurs qu’ils peuvent utiliser. Il regroupe plusieurs composants dans un même dépôt, couvrant l’automatisation de bureau, les environnements isolés, les machines virtuelles, les modèles spécialisés et l’outillage d’évaluation. Le projet décrit son périmètre comme « Computer-Use 2.0 », c’est-à-dire un agent capable de passer entre code, API et interfaces graphiques au sein d’une même tâche. Composants principaux : - Cua Driver : outils pour inspecter et piloter les applications de bureau natives et les navigateurs sur macOS, Windows et Linux. Il est accessible via une CLI, MCP ou des SDK typés. Une livraison en arrière-plan est proposée afin que les agents puissent agir sans déplacer le pointeur ni voler le focus, lorsque l’application et la plateforme le permettent. Des scripts d’installation sont fournis pour macOS/Linux (shell) et Windows (PowerShell). - Cua Fleets : bureaux cloud isolés provisionnés via run.cua.ai. Une flotte maintient une capacité de sandbox, et le code réserve un bureau dans un pool puis utilise le SDK Sandbox pour exécuter des commandes, capturer des captures d’écran et interagir avec les applications. Les sandboxes locales et les flottes partagent le SDK mais diffèrent par les identifiants, les images, les opérations et les exigences d’exécution. - Lume : création et gestion de VM locales macOS et Linux sur Apple Silicon à l’aide de Virtualization.Framework d’Apple, avec une CLI et un script d’installation. - CUA-S1 : une famille de petits modèles spécialisés « System 1 » pour des décisions bornées d’usage informatique, comme choisir une valeur pour un champ. Le premier profil de recherche se concentre sur les formulaires, en notant des décisions à partir d’éléments d’interface structurés et de valeurs de documents plutôt qu’en générant des tokens. Le dépôt contient le code Python du modèle, la génération de données synthétiques, l’entraînement et l’évaluation ; il est décrit comme une première version de recherche, uniquement source, avec des poids hébergés séparément sur Hugging Face. - Cua Bench : outillage pour construire des tâches d’usage informatique, évaluer les agents et exporter des trajectoires pour l’entraînement. Une tâche simulée peut être exécutée sans VM, Docker ni clé API de modèle, avec Python 3.12/3.13 et uv. Le README renvoie vers la documentation, des tutoriels, un blog, Discord et GitHub Issues. Il indique que le projet est sous licence MIT, avec des composants tiers sous leurs propres licences (par exemple Kasm, un package cua-som optionnel sous licence AGPL, et des artefacts liés à OmniParser). Des mentions de marques précisent l’absence d’affiliation avec Apple, Canonical ou Microsoft. Des métadonnées de citation sont fournies via BibTeX et CITATION.cff.