DeepSeek приблизилась к закрытой модели OpenAI в тестах сетевых атак

Средняя доля выполненных целей на двух полигонах составила около 73% у DeepSeek и 81% у GPT-6 Sol из закрытой программы OpenAI Daybreak. Испытания Vals AI проходили в изолированных сетях, имитирующих инфраструктуру компаний.

Компания Vals AI, оценивающая возможности ИИ-моделей, сравнила способность ИИ-агентов автономно атаковать имитации корпоративных сетей. Лучший средний результат показала GPT-6 Sol из закрытой программы OpenAI Daybreak. Китайская модель DeepSeek V4.1 Flash 1017 с открытыми весами заняла второе место.

На полигоне Nova атака начиналась с публичного веб-приложения. На Lighthouse требовалось скомпрометировать одну сеть, чтобы проникнуть в другую. Агенты действовали без помощи человека. На Nova DeepSeek достигла в среднем 16,3 из 21 цели, модель OpenAI — 15,7. На Lighthouse преимущество осталось у OpenAI: 27 из 31 цели против 21 у DeepSeek. Итоговую оценку считали как среднее долей выполненных целей на двух полигонах, придавая им одинаковый вес.

Как исследователи рассказали WIRED, стоимость токенов на одну попытку составляла $2–3 у DeepSeek и $17–46 у GPT-6 Sol. Это сравнение расходов на работу моделей, а не полной стоимости инфраструктуры.

Успех оценивали по контрольным меткам на целевых машинах, а не по заявлениям моделей. Ни одна система не достигла всех целей Lighthouse. Результаты показывают сближение возможностей на этих полигонах, но не измеряют вероятность успешной атаки на реальные компании.