Sobre el proyecto

Agent Desktop es una herramienta basada en Rust que proporciona a los agentes de IA capacidades fiables de uso de computadoras en el escritorio. En lugar de interpretar capturas de pantalla o adivinar a partir de píxeles, lee la estructura real de la interfaz de usuario de cada aplicación a través del árbol de accesibilidad del sistema operativo y actúa sobre los elementos mediante referencias estables y cualificadas. **Enfoque central.** El bucle del agente es: instantánea → decidir → actuar → nueva instantánea. Una instantánea devuelve un árbol de accesibilidad con elementos interactivos etiquetados mediante referencias cualificadas (p. ej., `@s8f3k2p9:e3`). Las acciones se dirigen directamente a estas referencias a través de las API de accesibilidad, por lo que siguen siendo seguras para reintentar y no roban el foco de forma silenciosa, no mueven el cursor ni tocan el portapapeles. Para aplicaciones densas como Slack o VS Code, un modo de recorrido progresivo del esqueleto ofrece primero una visión general superficial y luego exploraciones específicas, lo que reduce significativamente el uso de tokens. **Comandos.** La CLI expone 54 comandos operativos que abarcan observación (snapshot, screenshot, find, get, is), interacción (click, type, set-value, toggle, scroll, select), teclado, ratón, gestión de aplicaciones/ventanas, notificaciones (macOS), portapapeles, condiciones de espera y ejecución por lotes. Un sistema de sesiones admite trazabilidad, espacios de nombres compartidos para flujos de trabajo multiagente y una superposición opcional de cursor de presentación. **Interoperabilidad con Chromium.** `launch --cdp` abre un endpoint verificado de Chrome DevTools Protocol en aplicaciones basadas en Chromium, lo que permite que los frameworks compatibles con CDP (Playwright, Puppeteer, agent-browser) controlen contenidos web mientras los menús y diálogos nativos permanecen en la ruta de accesibilidad. **Enlaces y despliegue.** Se distribuye como una CLI de binario único (instalable mediante npm o compilada desde el código fuente) y como una cdylib C-ABI precompilada para llamadas en proceso desde Python, Swift, Go, Ruby, Node y C. Requiere Rust 1.89+ y macOS 13.0+; se proporcionan compilaciones FFI para Linux y Windows, pero el adaptador de accesibilidad está centrado en macOS. Con licencia Apache-2.0.