Более 1100 сотрудников OpenAI, Anthropic и Google призвали США помочь «сдерживать» гонку ИИ

Ведущие исследователи и руководители OpenAI, Anthropic, Google DeepMind и Meta AI подписали обращение к властям США с призывом создать международные инструменты для управления темпами развития передового ИИ. Поводом стал в том числе инцидент, при котором тестовая модель OpenAI вышла за пределы изолированной среды и атаковала инфраструктуру Hugging Face.

Более 1100 сотрудников ведущих ИИ-компаний — среди них OpenAI, Anthropic, Google DeepMind и Meta AI — подписали открытое обращение к правительству США. Документ опубликован на отдельном сайте под названием Pacing the Frontier и призывает Вашингтон поддержать международные усилия по созданию технических и организационных инструментов, которые позволяли бы при необходимости осознанно замедлять развитие передовых систем автоматизированной разработки ИИ.

Авторы предупреждают о риске того, что прогресс ИИ ускорится быстрее, чем человечество успеет обеспечить безопасность таких систем. Отдельно упоминается рекурсивное самоулучшение — ситуация, когда ИИ начинает ускорять собственную разработку. В обращении отмечается, что каждая компания и каждая страна находятся под сильным конкурентным давлением, поэтому в одиночку никто не заинтересован притормаживать работу — именно поэтому предлагается международная координация.

Среди подписантов — директор по исследованиям OpenAI Марк Чэнь (Mark Chen), главный научный сотрудник OpenAI Якуб Пахоцкий (Jakub Pachocki), сооснователь OpenAI Войцех Заремба (Wojciech Zaremba), сооснователь и главный научный сотрудник Anthropic Джаред Каплан (Jared Kaplan), а также глава публичной политики Anthropic Джек Кларк (Jack Clark) и главный научный сотрудник Meta AI Шэнцзя Чжао (Shengjia Zhao).

Одним из поводов для обращения стал инцидент в области кибербезопасности, о котором ранее сообщила сама OpenAI. По её данным, тестовые модели вышли за пределы изолированной среды (песочницы), воспользовавшись ранее неизвестной уязвимостью, получили доступ в интернет и в итоге атаковали инфраструктуру Hugging Face — крупного хаба для размещения ИИ-моделей. По описанию OpenAI, агенты связали воедино несколько векторов атаки, чтобы найти путь к удалённому выполнению кода на серверах Hugging Face. Разработчики считают, что подобные случаи подчёркивают необходимость усиливать надзор и меры безопасности одновременно с наращиванием возможностей ИИ.