cua

Cua 是一个开源项目，旨在为 AI 代理提供可操作的计算机。它在一个仓库中整合了多个组件，涵盖桌面自动化、沙箱环境、虚拟机、专用模型和评估工具。该项目将其范围描述为“Computer-Use 2.0”，即代理能够在单个任务中在代码、API 和图形界面之间切换。 主要组件： - Cua Driver：用于在 macOS、Windows 和 Linux 上检查和操作原生桌面应用及浏览器的工具。可通过 CLI、MCP 或类型化 SDK 访问。在应用和平台允许的情况下，提供后台投递，使代理无需移动指针或抢占焦点即可执行操作。为 macOS/Linux（shell）和 Windows（PowerShell）提供了安装脚本。 - Cua Fleets：通过 run.cua.ai 配置的隔离云桌面。Fleet 维护沙箱容量，代码从池中认领一个桌面，并使用 Sandbox SDK 运行命令、捕获屏幕截图并与应用交互。本地沙箱和 Fleet 共享同一 SDK，但在凭据、镜像、操作和运行时要求上有所不同。 - Lume：使用 Apple 的 Virtualization.Framework 在 Apple Silicon 上创建和管理本地 macOS 和 Linux 虚拟机，提供 CLI 和安装脚本。 - CUA-S1：一系列小型、专用的“System 1”模型，用于有边界的计算机使用决策，例如为某个字段选择值。首个研究配置聚焦于表单，从结构化界面元素和文档值中对决策进行评分，而不是生成 token。该仓库包含 Python 模型代码、合成数据生成、训练和评估；它被描述为早期、仅源码的研究版本，权重单独托管在 Hugging Face 上。 - Cua Bench：用于构建计算机使用任务、评估代理并导出轨迹以供训练的工具。模拟任务无需 VM、Docker 或模型 API 密钥即可运行，使用 Python 3.12/3.13 和 uv。 README 指向文档、教程、博客、Discord 和 GitHub Issues。它声明该项目采用 MIT 许可，第三方组件遵循其各自许可（例如 Kasm、可选的 AGPL 许可的 cua-som 包，以及与 OmniParser 相关的产物）。商标声明澄清与 Apple、Canonical 或 Microsoft 无关联。引用元数据通过 BibTeX 和 CITATION.cff 提供。