Об этом проекте

Agent Desktop — инструмент на Rust, дающий ИИ-агентам надёжные возможности computer-use на рабочем столе. Вместо интерпретации скриншотов или угадывания по пикселям он читает реальную структуру UI каждого приложения через дерево доступности операционной системы и воздействует на элементы через стабильные квалифицированные ссылки. **Основной подход.** Цикл агента: snapshot → decide → act → re-snapshot. Снимок возвращает дерево доступности с интерактивными элементами, помеченными квалифицированными ссылками (например, `@s8f3k2p9:e3`). Действия нацелены на эти ссылки напрямую через API доступности, поэтому их безопасно повторять, и они не крадут фокус, не перемещают курсор и не трогают буфер обмена. Для насыщенных приложений вроде Slack или VS Code прогрессивный режим обхода скелета сначала даёт поверхностный обзор, а затем точечные углубления, значительно снижая расход токенов. **Команды.** CLI предоставляет 54 операционные команды по категориям: наблюдение (snapshot, screenshot, find, get, is), взаимодействие (click, type, set-value, toggle, scroll, select), клавиатура, мышь, управление приложениями и окнами, уведомления (macOS), буфер обмена, условия ожидания и пакетное выполнение. Система сессий поддерживает трассировку, общие пространства имён для многопользовательских рабочих процессов и опциональный оверлей курсора презентации. **Взаимодействие с Chromium.** `launch --cdp` открывает проверенную конечную точку Chrome DevTools Protocol в приложениях на базе Chromium, позволяя фреймворкам, говорящим на CDP (Playwright, Puppeteer, agent-browser), управлять веб-содержимым, тогда как нативные меню и диалоги остаются на пути доступности. **Привязки и развёртывание.** Поставляется как однобинарный CLI (устанавливается через npm или собирается из исходников) и как предварительно собранная cdylib с C-ABI для внутрипроцессных вызовов из Python, Swift, Go, Ruby, Node и C. Требуется Rust 1.89+ и macOS 13.0+; сборки FFI для Linux и Windows предоставляются, но адаптер доступности ориентирован на macOS. Лицензия Apache-2.0.