Университет Индианы проверит открытые ИИ-модели на уязвимости

Национальный научный фонд США выделил $1,18 млн на оценку безопасности открытых ИИ-инструментов, используемых в научных исследованиях. Команда Университета Индианы составит карту уязвимостей и разработает средства для оценки рисков и подготовки исправлений.

Национальный научный фонд США (NSF) выделил Университету Индианы грант в размере $1,18 млн на повышение безопасности научных инструментов, построенных на открытых ИИ-моделях и программном обеспечении. Проект возглавил Сагар Самтани, руководитель лаборатории Data Science and Artificial Intelligence Lab при Школе бизнеса Келли.

Исследователи намерены изучить риски, связанные с утечками конфиденциальных данных, кражей интеллектуальной собственности, внедрёнными бэкдорами и вредоносными инструкциями для моделей. На первом этапе команда определит наиболее распространённые в научной среде открытые ИИ-модели и оценит их уязвимости.

Затем специалисты разработают инструменты, которые помогут оценивать риски, предлагать более безопасные альтернативы и создавать исправления для обнаруженных слабых мест. Решения испытают совместно с Jetstream2 — управляемой Университетом Индианы облачной платформой NSF, которая предоставляет вычислительные ресурсы сотням финансируемых государством исследовательских проектов.

В работе также участвуют специалисты университетского центра киберопераций OmniSOC и исследователи Обернского университета.