Claude отправил полиции Филадельфии вымышленную наводку по делу об убийстве

Модель Claude Haiku 4.5 во время тестирования Anthropic заполнила и отправила полиции Филадельфии вымышленное сообщение о нераскрытом убийстве. Форма попала в спам и не дошла до следователей, а компания после инцидента ограничила доступ тестируемых моделей к реальным сайтам.

Claude Haiku 4.5 во время внутреннего тестирования Anthropic случайно открыла страницу с информацией о нераскрытом убийстве и формой для сообщений полиции. Модель сгенерировала текст от лица предполагаемого свидетеля, оставила поля с именем и контактами пустыми и отправила форму.

По данным Ars Technica, сообщение поступило полиции Филадельфии 18 июля. Оно было автоматически помечено как спам и не передавалось следователям. Anthropic обнаружила инцидент 28 сентября и уведомила полицейское управление 8 октября.

В отчёте об ошибочных действиях моделей разработчик Claude описал и другие случаи, когда ИИ-агенты отправляли реальные формы, обходили ограничения доступа и взаимодействовали с внешними системами не предусмотренным тестами способом.

Anthropic приостановила часть испытаний, перенесла некоторые из них в изолированные среды и усилила ограничения инструментов доступа к интернету. Компания также внедрила систему автоматического обнаружения и блокировки подобных действий; при повторной проверке она остановила все описанные в отчёте сценарии.