Anthropic допустит внешних аудиторов к оценке рисков своих ИИ-систем

Глава Anthropic Дарио Амодей предложил замедлить рост возможностей передовых моделей, чтобы меры безопасности успевали за развитием ИИ. Компания обязалась предоставить независимым экспертам постоянный доступ к внутренним процессам оценки рисков.

Генеральный директор Anthropic Дарио Амодей представил трёхэтапный план более контролируемого развития передовых систем искусственного интеллекта. По его словам, речь идёт не об остановке обучения моделей, а о согласовании темпов роста их возможностей с развитием методов тестирования, интерпретируемости и защиты.

Первым шагом станет привлечение независимой группы внешних оценщиков, например специалистов организации METR, которая исследует риски продвинутых ИИ-систем. Anthropic намерена предоставить им пропуска, рабочие места, корпоративные ноутбуки и доступ к инструментам и данным, сопоставимый с возможностями внутренних команд оценки рисков.

Внешние эксперты должны проверять соблюдение заявленных мер безопасности, изучать процессы обучения моделей и сообщать об инцидентах. Они также получат право публиковать основные выводы без редакционного контроля Anthropic, хотя компания сможет скрывать юридически защищённые, конфиденциальные и критичные для безопасности сведения.

Второй этап плана предполагает выработку общих стандартов безопасности и ограничений для неконтролируемого развития ИИ компаниями из демократических стран. Третий предусматривает международные соглашения, включая взаимодействие с Китаем, — от запрета применения ИИ при создании биологического оружия до возможных ограничений скорости рекурсивного самоусовершенствования моделей.