agent-desktop

Agent Desktop은 AI 에이전트에게 데스크톱에서 신뢰할 수 있는 컴퓨터 사용 기능을 제공하는 Rust 기반 도구입니다. 스크린샷을 해석하거나 픽셀에서 추측하는 대신, 운영체제의 접근성 트리를 통해 각 애플리케이션의 실제 UI 구조를 읽고 안정적이고 정규화된 참조를 통해 요소에 작용합니다. **핵심 접근 방식.** 에이전트 루프는 snapshot → decide → act → re-snapshot입니다. 스냅샷은 정규화된 ref(예: `@s8f3k2p9:e3`)로 태그된 대화형 요소가 포함된 접근성 트리를 반환합니다. 액션은 접근성 API를 통해 이러한 ref를 직접 대상으로 하므로 재시도해도 안전하며 포커스를 조용히 훔치거나 커서를 이동하거나 클립보드를 건드리지 않습니다. Slack이나 VS Code처럼 밀도가 높은 애플리케이션의 경우 점진적 스켈레톤 탐색 모드가 먼저 얕은 개요를 제공한 다음 대상 지정 드릴다운을 수행하여 토큰 사용량을 크게 줄입니다. **명령.** CLI는 관찰(snapshot, screenshot, find, get, is), 상호작용(click, type, set-value, toggle, scroll, select), 키보드, 마우스, 앱/창 관리, 알림(macOS), 클립보드, 대기 조건, 배치 실행에 걸쳐 54개의 운영 명령을 노출합니다. 세션 시스템은 추적, 다중 에이전트 워크플로를 위한 공유 네임스페이스, 선택적 프레젠테이션 커서 오버레이를 지원합니다. **Chromium 상호 운용.** `launch --cdp`는 Chromium 기반 앱에서 검증된 Chrome DevTools Protocol 엔드포인트를 열어 CDP를 사용하는 프레임워크(Playwright, Puppeteer, agent-browser)가 웹 콘텐츠를 구동하는 동안 네이티브 메뉴와 대화상자는 접근성 경로에 남도록 합니다. **바인딩 및 배포.** 단일 바이너리 CLI(npm을 통해 설치하거나 소스에서 빌드 가능)와 Python, Swift, Go, Ruby, Node, C에서 인프로세스 호출을 위한 사전 빌드된 C-ABI cdylib로 제공됩니다. Rust 1.89+ 및 macOS 13.0+가 필요하며, Linux 및 Windows FFI 빌드가 제공되지만 접근성 어댑터는 macOS에 중점을 둡니다. Apache-2.0에 따라 라이선스가 부여됩니다.