Сэм Альтман: «песочницы» и мониторинг ИИ со временем перестанут обеспечивать безопасность

Глава OpenAI Сэм Альтман считает, что изоляция продвинутых ИИ-систем и мониторинг их действий будут лишь временными мерами. По его оценке, в конечном счете безопасность будет зависеть от alignment — надежного согласования поведения моделей с человеческими целями, причем потенциальная цена ошибки растет.

Генеральный директор OpenAI Сэм Альтман заявил, что изоляция продвинутых систем искусственного интеллекта в «песочницах» способна обеспечивать гарантии безопасности лишь временно. В интервью Стэнфордской высшей школе бизнеса, опубликованном 21 октября, он предположил, что по мере роста возможностей моделей станет трудно даже определить надежные границы такой среды.

Следующим временным рубежом Альтман назвал мониторинг поведения моделей. В долгосрочной перспективе, по его мнению, останется только alignment — согласование поведения ИИ с человеческими целями и ограничениями, позволяющее с достаточной уверенностью сохранять контроль людей над системой.

Альтман отметил, что до сих пор настройка моделей оказалась проще, чем он ожидал, однако переносить этот опыт на следующие поколения систем рискованно: потенциальная цена ошибки значительно выросла. Он также предупредил, что более мощные модели смогут находить уязвимости за пределами привычных моделей угроз, включая ошибки на уровне оборудования. Поэтому, считает глава OpenAI, установки отдельных исправлений будет недостаточно — потребуется новая архитектура защиты, также использующая ИИ.