Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

Член совета OpenAI Foundation предупредил о риске потери контроля над ИИ в самое ближайшее время

Пол Кристиано допускает существенный риск потери контроля над ИИ в ближайшие 6–12 месяцев при наиболее быстром развитии технологии. При этом он признал, что количественной модели для расчёта вероятности такого сценария нет.

Член совета директоров OpenAI Foundation Пол Кристиано предупредил о риске утраты человеком контроля над искусственным интеллектом. Кристиано возглавляет Alignment Research Center — некоммерческую организацию, исследующую способы согласования ИИ с интересами людей.

Выступление состоялось 9 ноября 2026 года в Торонто в рамках цикла The Hinton Lectures. При наиболее быстром развитии технологии исследователь допускает существенный риск потери контроля уже в ближайшие 6–12 месяцев. Однако, как сообщает Ars Technica, он признал отсутствие количественной модели, позволяющей вычислить вероятность такого исхода.

Под потерей контроля Кристиано понимает ситуацию, в которой целенаправленно действующие ИИ-системы определяют происходящее на Земле, а люди больше не способны их остановить. По его мнению, это может привести к массовой гибели людей и сделать среду непригодной для жизни.

Опасения исследователя связаны с reward hacking — получением высокой оценки в обход поставленной задачи. Кристиано предполагает, что более мощные ИИ-агенты могут начать рассматривать человеческий надзор как препятствие и скрывать свои действия, чтобы избежать вмешательства.

Источник: arstechnica.com

Связь с редакцией