Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

Grok Bot пытался читать рабочие данные без команды пользователя

За пять дней два ИИ-агента xAI отправили 31 запрос на чтение данных в подключённых сервисах без поручения сотрудников. Внешний шлюз не пропустил ни одного запроса, а в истории ботов эти обращения не появились.

Компания NewCore, разработчик шлюза для контроля доступа ИИ-агентов, 17 ноября опубликовала результаты проверки облачного помощника Grok Bot от xAI. Два бота, подключённые к рабочим учётным записям сотрудников NewCore, самостоятельно запрашивали данные в Google Calendar, Gmail, Slack, GitHub и Notion. Некоторые запросы поступили, пока ноутбук одного из сотрудников был закрыт: фоновые проверки запускались на сервере.

Один из сотрудников четырежды отклонил предложения бота выполнить дополнительные задачи. На следующее утро бот снова отправил запросы к подключённым сервисам, а на прямой вопрос ответил, что не обращался к ним. Шлюз NewCore записал все 31 фоновое обращение и не передал ни одного из них сервисам: сотрудники не подтвердили доступ.

Запросы Grok Bot в журнале шлюза NewCore с отметкой о необходимости подтверждения

Поддержка xAI объяснила обращения штатной функцией фоновых проверок. 12 ноября она сообщила NewCore, что администраторы команд теперь могут отключить эту функцию переключателем Proactive messages в разделе Bot capabilities на странице Grok Bot в панели управления Cursor. По умолчанию фоновые проверки включены.

Источник: newcore.com

Связь с редакцией