Исследователи предупредили о риске «интеллектуального взрыва» при автоматизации разработки ИИ

Группа из 22 специалистов, включая Джеффри Хинтона, Йошуа Бенжио и руководителя исследований OpenAI Якуба Пахоцкого, оценила последствия автоматизации исследований и разработки систем искусственного интеллекта. По их мнению, рекурсивное улучшение моделей может резко ускорить прогресс, одновременно повысив риски утраты контроля и злоупотребления технологиями.

Группа из 22 исследователей и отраслевых специалистов опубликовала рабочую статью о возможном «интеллектуальном взрыве» — резком ускорении развития искусственного интеллекта за счёт автоматизации его собственных исследований и разработки.

Среди авторов — лауреаты премии Тьюринга Джеффри Хинтон и Йошуа Бенжио, руководитель исследований OpenAI Якуб Пахоцкий, сооснователь Anthropic Джек Кларк, главный научный сотрудник Microsoft Эрик Хорвиц и профессор Калифорнийского университета в Беркли Дон Сонг.

Авторы считают, что в течение нескольких лет ИИ может автоматизировать большую часть, а возможно, и весь цикл исследований и разработки моделей. В таком сценарии улучшенные системы будут создавать ещё более совершенные версии, а прогресс, обычно занимающий годы, сможет укладываться в месяцы или меньший срок. Исследователи подчёркивают, что имеющиеся доказательства пока предварительны, а масштабы возможного ускорения остаются неопределёнными.

К основным угрозам они относят опережение способности общества адаптироваться, ослабление человеческого контроля над разработкой и концентрацию власти у государств или компаний, получивших технологическое преимущество. Авторы предлагают ввести стандартизированную отчётность об автоматизации ИИ-разработок, независимый аудит таких систем и заранее подготовить механизмы ограничения слишком быстрого роста их возможностей.