CLI и C-библиотека agent-desktop дают агенту доступ к интерфейсу обычных десктопных программ через системное дерево доступности macOS, Windows и Linux — вместо интеграций с API самих приложений. Код лежит в репозитории vercel-labs/agent-desktop; дату публикации README не сообщает. Для читателя это способ автоматизировать приложения без API, но только при собственном цикле управления и выданных разрешениях.
CLI и C-библиотека вместо пикселей
README перечисляет 60 имён команд, 56 из них рабочие. Четыре — key-down, key-up, mouse-down, mouse-up — отказываются запускаться, пока демон не сможет отпустить зажатую клавишу или кнопку. Набор охватывает наблюдение (snapshot, find, get, is, screenshot, list-surfaces), действия по элементу (click, double-click, type, set-value), клавиатуру и мышь, управление приложениями и окнами, уведомления, буфер обмена, ожидание и сессии. Каждый вызов CLI выполняется в отдельном процессе; headless-вызовы запрещают активацию foreground и синтезированный ввод.
Петля «снимок → действие по ref → повторный снимок»
Снимок возвращает JSON, в котором у каждого доступного элемента есть ref. Рабочий цикл состоит из трёх шагов:
agent-desktop snapshotполучает дерево доступности и refs элементов.- Агент выполняет действие с выбранным ref.
- Повторный снимок проверяет результат.
agent-desktop snapshot
agent-desktop click <ref>
agent-desktop snapshotСопоставления пикселей нет, а сама петля остаётся в коде агента: CLI поставляет снимки и исполняет отдельные действия. Проверка новым снимком входит в базовый сценарий, потому что после изменения интерфейса прежний ref может перестать соответствовать элементу.
Установка и разрешения на трёх платформах
Пакет ставится глобально через npm; Bun, Yarn и pnpm устанавливают тот же пакет. Внутри — нативные бинарники и платформенные помощники для x64 и ARM64.
npm install -g agent-desktop
agent-desktop versionНа macOS требуется разрешение Accessibility — выдать его помогает agent-desktop permissions --guide. На Windows отдельного разрешения не нужно для приложений на уровне целостности терминала. На Linux нужна графическая сессия пользователя с at-spi2-core. Официальные пакеты Homebrew и Scoop ещё подаются на включение и в стандартных каталогах недоступны; собственный tap и bucket репозиторий больше не поддерживает. Вместо JS-лаунчера можно скачать нативный архив из GitHub Releases и держать помощник рядом с исполняемым файлом.
Приватность и границы подтверждённого
Снимки, чтение буфера обмена, скриншоты, вывод команд и отладочные артефакты могут содержать приватное содержимое рабочего стола; README требует не выкладывать их в публичные логи и загрузки. Опциональный JEV-помощник отправляет описания экрана настроенному провайдеру модели и отделён от нативного CLI.
Telegram-канал «Бэкдор» 2 ноября 2026 года в 22:11 UTC написал, что Claude и Codex «научили управлять любыми программами», и связал это с Agent Desktop. В README связи с Claude и Codex нет, поэтому утверждение остаётся на канале. Независимых тестов и замеров производительности нет; список проверенных приложений README не приводит.
