GitHub Copilot Computer Use: агент учится работать с GUI-приложениями
GitHub объявил о запуске публичного превью Computer Use для GitHub Copilot. Функция доступна в Copilot CLI и в настольном приложении Copilot для macOS и Windows. Теперь Copilot может не только писать код и работать в терминале, но и напрямую взаимодействовать с любыми десктопными программами: читать содержимое окон, нажимать кнопки, вводить текст, прокручивать страницы и выполнять многошаговые сценарии.
Новинка превращает Copilot из ассистента по коду в полноценного агента, способного автоматизировать рабочие процессы в софте, у которого нет API, командной строки или интеграции с MCP-серверами.
Как работает Computer Use в Copilot
Computer Use встроен непосредственно в Copilot CLI и десктопное приложение Copilot. Агент использует комбинацию чтения доступного содержимого окон (Accessibility API) и визуального контекста (снимки экрана) для понимания интерфейса. На основе этой информации Copilot может:
— Кликать по элементам управления
— Вводить и редактировать текст
— Нажимать клавиши и комбинации клавиш
— Прокручивать содержимое окон
— Перетаскивать объекты
— Навигировать по рабочим процессам между разными приложениями
GitHub подчеркивает, что пользователь сохраняет полный контроль. Copilot запрашивает подтверждение перед каждым действием с приложением. Можно настроить список приложений, для которых разрешено автоматическое выполнение, а также отозвать разрешения в любой момент. На macOS для работы требуется предоставить разрешения на специальные возможности и запись экрана.
Администраторы организаций могут отключить функцию на уровне политик через настройки управляемых аккаунтов.
Что это меняет для разработчиков и не только
Ключевое преимущество Computer Use — возможность автоматизировать устаревшее или проприетарное ПО, которое не имеет программных интерфейсов. Например:
— Заполнение отчетов о расходах в корпоративных ERP-системах
— Перенос данных из legacy-форм в современные веб-интерфейсы
— Обновление содержимого презентаций по команде из чата
— Сбор уведомлений из браузера и их агрегация в единый дайджест
— Автоматизация тестирования GUI-приложений без доступа к исходному коду
На практике это означает, что Copilot теперь может выполнять роль RPA-агента (Robotic Process Automation), но с принципиально другим уровнем гибкости: он понимает контекст задачи и может адаптироваться к изменениям в интерфейсе, а не просто воспроизводить записанную последовательность кликов.
Ограничения и контекст
Computer Use находится в публичном превью. GitHub предупреждает, что функция может работать нестабильно на некоторых приложениях, особенно с нестандартными UI-фреймворками или защищенными окнами (например, терминалы с повышенными привилегиями). Также стоит учитывать, что визуальный контекст обрабатывается на стороне клиента, но снимки экрана передаются в облако для анализа — это может быть критично для организаций с жесткими требованиями к конфиденциальности данных.
В тот же день GitHub также анонсировал динамические рабочие процессы (Dynamic Workflows) для Copilot CLI и приложения. Это отдельная функция, которая позволяет определять многошаговые оркестрации с участием нескольких агентов в коде — например, сбор логов, параллельный анализ разными агентами и формирование единого отчета о инциденте. Dynamic Workflows и Computer Use — разные инструменты, но их комбинирование открывает путь к полностью автоматизированным сценариям: агент собирает данные из GUI, передает их в код, а динамический workflow координирует дальнейшие шаги.
Как попробовать
Computer Use доступен на всех тарифных планах Copilot, включая бесплатный. Для начала работы достаточно установить последнюю версию Copilot CLI (через curl, Homebrew, WinGet или npm) или обновить десктопное приложение Copilot. GitHub рекомендует формулировать запросы максимально конкретно: описать желаемый результат, перечислить задействованные приложения и указать важные ограничения.
Обратная связь принимается через команду /feedback в Copilot CLI и через GitHub Community.
На что обратить внимание
Несмотря на впечатляющие демонстрации (например, навигация по форме отчета о расходах в Safari), пока нет независимых бенчмарков надежности Computer Use в реальных рабочих процессах. На практике стабильность работы будет сильно зависеть от конкретного приложения, его версии и операционной системы. Разработчикам, планирующим внедрение, стоит начинать с изолированных тестов на некритичных задачах и внимательно оценивать как точность выполнения, так и объем передаваемых данных.
