OpenAI предложила создать международные стандарты безопасности для передовых ИИ-систем

OpenAI призвала США возглавить разработку международных технических стандартов для передовых моделей и автоматизированных исследований в области ИИ. Компания предлагает унифицировать оценку возможностей систем, требования к человеческому контролю и протоколы регистрации инцидентов.

OpenAI предложила создать международные технические стандарты безопасности для передовых систем искусственного интеллекта. Отдельное внимание компания уделяет автоматизированным ИИ-исследованиям и рекурсивному самоулучшению (RSI) — процессу, при котором ИИ участвует в разработке следующих поколений моделей.

В OpenAI отмечают, что полностью автономного RSI пока не существует и переходить к нему не следует до появления достаточных гарантий безопасности и сохранения человеческого контроля. По мнению компании, стандарты должны распространяться как на открытые, так и на закрытые модели.

Для подготовки норм предлагается использовать международную сеть институтов безопасности ИИ и американский Центр стандартов и инноваций в области ИИ (CAISI). Общая техническая база должна охватывать измерение возможностей моделей, оценку рисков и достаточности защитных механизмов. При этом речь не идет о лицензировании моделей или обязательном согласовании каждого выпуска: государства смогут самостоятельно решать, как включать стандарты в национальное законодательство.

OpenAI также предлагает унифицировать измерение степени автоматизации исследований, определить случаи, требующие немедленного вмешательства человека, и ввести общие уровни серьезности, пороги регистрации и правила сообщения об инцидентах.