À propos du projet

Agent Desktop est un outil basé sur Rust qui offre aux agents IA des capacités fiables d'utilisation de l'ordinateur sur le bureau. Au lieu d'interpréter des captures d'écran ou de deviner à partir des pixels, il lit la structure réelle de l'interface de chaque application via l'arbre d'accessibilité du système d'exploitation et agit sur les éléments au moyen de références stables et qualifiées. **Approche principale.** La boucle de l'agent est : snapshot → décision → action → nouveau snapshot. Un snapshot renvoie un arbre d'accessibilité dont les éléments interactifs sont étiquetés par des références qualifiées (par exemple `@s8f3k2p9:e3`). Les actions ciblent directement ces références via les API d'accessibilité, ce qui les rend sûres à réessayer et évite de voler silencieusement le focus, de déplacer le curseur ou de toucher le presse-papiers. Pour les applications denses comme Slack ou VS Code, un mode de parcours progressif par squelette fournit d'abord un aperçu superficiel, puis des explorations ciblées, ce qui réduit considérablement la consommation de tokens. **Commandes.** La CLI expose 54 commandes opérationnelles couvrant l'observation (snapshot, screenshot, find, get, is), l'interaction (click, type, set-value, toggle, scroll, select), le clavier, la souris, la gestion des applications et des fenêtres, les notifications (macOS), le presse-papiers, les conditions d'attente et l'exécution par lots. Un système de session prend en charge le traçage, les espaces de noms partagés pour les workflows multi-agents et une surcouche optionnelle de curseur de présentation. **Interopérabilité Chromium.** `launch --cdp` ouvre un point de terminaison Chrome DevTools Protocol vérifié sur les applications basées sur Chromium, permettant aux frameworks compatibles CDP (Playwright, Puppeteer, agent-browser) de piloter les contenus web tandis que les menus et boîtes de dialogue natifs restent sur le chemin d'accessibilité. **Liaisons et déploiement.** Distribué sous forme de CLI à binaire unique (installable via npm ou compilé depuis les sources) et sous forme de cdylib C-ABI précompilée pour les appels in-process depuis Python, Swift, Go, Ruby, Node et C. Nécessite Rust 1.89+ et macOS 13.0+ ; des builds FFI pour Linux et Windows sont fournis, mais l'adaptateur d'accessibilité est centré sur macOS. Sous licence Apache-2.0.