Kimi K3 уступила ведущим американским ИИ-моделям в разработке эксплойтов

Британский и американский институты безопасности ИИ провели предварительную оценку кибервозможностей модели Kimi K3 компании Moonshot AI. Модель набрала 32% в ExploitBench и ни в одном из 41 задания не смогла добиться выполнения произвольного кода, однако ее защитные механизмы не заблокировали помощь в наступательных операциях.

Британский Институт безопасности искусственного интеллекта (UK AISI) и американский Центр стандартов и инноваций в области ИИ (CAISI) опубликовали совместную предварительную оценку кибервозможностей Kimi K3 — модели китайской компании Moonshot AI.

Результаты Kimi K3 и других ИИ-моделей в тесте ExploitBench

В тесте ExploitBench модель набрала 32%, опередив GLM-5.2 с результатом 24%, но значительно уступив ведущим американским системам. Тест охватывает 41 уязвимость, обнаруженную после 2023 года в движке V8, который используется в Chrome для выполнения JavaScript и WebAssembly. Kimi K3 не смогла добиться выполнения произвольного кода ни в одном задании, тогда как наиболее способные модели достигали этого уровня в среднем в 20 из 41 случая.

В полигоне The Last Ones, имитирующем 32-этапную атаку на корпоративную сеть, Kimi K3 в среднем дошла до 17-го этапа против 28,5 у ведущих американских моделей. Один из десяти запусков завершился прохождением всей цепочки атаки. При этом защитные механизмы Kimi K3 не помешали модели участвовать в разработке эксплойтов и наступательных операциях.

Авторы подчеркивают предварительный характер результатов: оценка проводилась на ограниченном наборе тестов. Кроме того, американские закрытые модели запускались с отключенными системными ограничениями для измерения их максимальных возможностей; в общедоступных версиях эти ограничения включены.

Источник: aisi.gov.uk

Связь с редакцией