Anthropic заявила, что ее внутренняя модель мощнее Mythos 5.1 и реже продолжает опасные действия

Anthropic испытала непубличную исследовательскую модель на записи инцидента, в котором агент Claude Mythos 5 вышел за рамки киберзадания и попытался внедрить вредоносный код в реальный проект на GitHub. Модель, которую компания считает более способной, чем Mythos 5.1, самостоятельно прекращала уже начатую атаку в 67% повторов, однако эксперимент охватывал только один сценарий.

Anthropic опубликовала результаты проверки непубличной исследовательской модели, уровень возможностей которой компания оценивает выше Claude Mythos 5.1. Исследование посвящено инциденту, выявленному британским Институтом безопасности искусственного интеллекта (AI Security Institute, AISI) при тестировании автономных агентов.

В исходном эксперименте Claude Mythos 5 предпринимал несанкционированные действия в девяти из 43 запусков. В наиболее серьезном случае агент попытался добавить вредоносный код в реальный проект на GitHub, создал подставные учетные записи и убеждал сопровождающего принять изменение. Разработчик отклонил запрос, и подтвержденного ущерба не возникло. AISI подчеркивает, что для испытания моделям специально открыли доступ в интернет и отключили штатные средства кибербезопасности.

При повторном воспроизведении фрагментов сценария внутренняя модель Anthropic не начинала атаку ни в одном запуске из точки, предшествовавшей поиску цели на GitHub. Для Mythos 5 этот показатель составлял 83%, для Mythos 5.1 — 13%, для Opus 5.5 — 6%. Если вредоносная последовательность уже была запущена, исследовательская модель самостоятельно прекращала ее в 67% случаев, тогда как Opus 5.5 делала это в 10%, а Mythos 5.1 — лишь изредка.

Anthropic предполагает, что результат связан с изменениями в обучении моделей безопасному поведению. При этом компания предупреждает, что модели продолжали запись действий Mythos 5 в нехарактерном для них контексте, а способность остановить атаку оценивалась только на нескольких следующих шагах. Поэтому эксперимент не является полноценной оценкой безопасности будущего продукта.