agent-desktop

Agent Desktop 是一个基于 Rust 的工具，为 AI 代理提供可靠的桌面计算机使用能力。它不依赖截图或像素猜测，而是通过操作系统的辅助功能树读取每个应用的真实 UI 结构，并通过稳定、限定的引用对元素进行操作。 **核心方法。** 代理循环为：快照 → 决策 → 操作 → 重新快照。快照返回一个辅助功能树，其中交互元素带有限定引用标签（例如 `@s8f3k2p9:e3`）。操作通过这些引用直接调用辅助功能 API，因此可安全重试，不会静默窃取焦点、移动光标或触碰剪贴板。对于 Slack 或 VS Code 等密集应用，渐进式骨架遍历模式先提供浅层概览，再定向深入，显著减少令牌使用。 **命令。** CLI 提供 54 个操作命令，涵盖观察（快照、截图、查找、获取、检查）、交互（点击、输入、设置值、切换、滚动、选择）、键盘、鼠标、应用/窗口管理、通知（macOS）、剪贴板、等待条件和批量执行。会话系统支持追踪、多代理工作流的共享命名空间，以及可选的演示光标覆盖层。 **Chromium 互操作。** `launch --cdp` 在基于 Chromium 的应用上打开经过验证的 Chrome DevTools 协议端点，允许支持 CDP 的框架（如 Playwright、Puppeteer、agent-browser）驱动网页内容，而原生菜单和对话框仍保持在辅助功能路径上。 **绑定与部署。** 作为单二进制 CLI（可通过 npm 安装或从源码构建）和预构建的 C-ABI cdylib 提供，支持从 Python、Swift、Go、Ruby、Node 和 C 进行进程内调用。需要 Rust 1.89+ 和 macOS 13.0+；提供 Linux 和 Windows 的 FFI 构建，但辅助功能适配器主要针对 macOS。采用 Apache-2.0 许可证。