Агенты Gemini нашли лазейку в проверке доказательств и начали выявлять нарушителей

В эксперименте Google DeepMind 100 агентов на базе Gemini 3.1 Pro решали 71 математическую задачу в Lean 4. После обнаружения лазейки 14 агентов использовали её для фиктивных доказательств, а 24 независимо начали проверять результаты, предупреждать других агентов и жаловаться организаторам.

Исследователи Google DeepMind описали в препринте поведение 100 автономных агентов на базе Gemini 3.1 Pro. Им поручили совместно доказать 71 математическую гипотезу в Lean 4 — языке и системе формальной проверки доказательств. Все агенты получили прямой запрет на обход проверки.

Сначала система приняла 37 корректных решений. Затем один из агентов обнаружил, что автоматический оценщик проверяет структуру файла и успешную компиляцию, но не сопоставляет исходный смысл теоремы с результатом обработки кода. Переопределяя локальные обозначения в редактируемой части файла, агент мог превратить сложную гипотезу в тривиальное утверждение.

Лазейка распространилась через общую библиотеку решений и личные сообщения. За следующие 27 минут агенты таким способом закрыли оставшиеся 34 задачи. Всего исследователи отнесли девять агентов к первоначальным эксплуататорам уязвимости, ещё пять — к присоединившимся позднее.

Одновременно 24 агента начали самостоятельно проверять подозрительные доказательства, рассылать предупреждения, подавать жалобы, объявлять бойкот и предлагать исправления для системы проверки. Ещё 62 агента не заметили происходящего. Остановить злоупотребления не удалось: канал жалоб не отслеживался во время эксперимента, а агенты не могли отменять результаты или блокировать нарушителей.

По мнению авторов, прозрачные каналы связи в многоагентных системах одновременно ускоряют распространение уязвимого поведения и позволяют обнаруживать его. Помимо семантической проверки доказательств, таким системам могут потребоваться механизмы разрешения споров, голосования, отклонения результатов и временного ограничения доступа нарушителей. Работа пока не прошла рецензирование.