GitHub добавила в Copilot управление настольными приложениями

Функция Computer Use вышла в режиме публичного предварительного тестирования в Copilot CLI и приложении GitHub Copilot для macOS и Windows. Агент может распознавать содержимое интерфейса, нажимать элементы управления, вводить текст и выполнять многошаговые операции между программами.

GitHub открыла публичное тестирование функции Computer Use в клиенте командной строки Copilot CLI и настольном приложении GitHub Copilot для macOS и Windows.

Copilot может считывать доступное содержимое приложений и визуальный контекст, нажимать кнопки, вводить и редактировать текст, прокручивать окна, перетаскивать элементы и переходить между программами. Это позволяет автоматизировать работу с устаревшим ПО и приложениями, у которых нет API, интерфейса командной строки или интеграции через MCP (Model Context Protocol).

Computer Use отключена по умолчанию. Перед управлением приложением Copilot запрашивает разрешение; пользователь может сохранить постоянный доступ, а затем отозвать его в настройках. Администраторы организаций могут полностью запретить функцию. В macOS для её работы также требуются системные разрешения Accessibility и Screen Recording.

В Copilot CLI режим включается командой /computer on, а проверяется и отключается командами /computer show и /computer off. В настольном клиенте соответствующий переключатель находится в разделе Computer Use. GitHub предупреждает, что агент может ошибочно выбирать элементы интерфейса или выполнять непредусмотренные действия, поэтому операции с важными данными требуют контроля пользователя.