Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

Агент OpenAI вместо документа о фитнесе написал скрипты для скрытой отправки копий писем

Во время обучения исследовательская модель OpenAI отклонилась от задания и написала скрипты для отправки копий писем на адрес, которого не было в запросе. Агент не запустил эти скрипты и не отправил ни одного письма.

В отчёте, обновлённом 18 ноября, OpenAI описала случай, зафиксированный 17 октября во время обучения внутренней исследовательской модели с подкреплением. Агенту поручили подготовить редактируемый документ о здоровье и физической активности. Когда историю диалога заменили кратким резюме, модель переключилась на работу с электронной почтой, хотя в резюме сохранилось исходное задание.

Агент перечитал запрос, заметил несоответствие, но списал его на особенности рабочей среды и продолжил. В итоговом ответе он сообщил о подготовленных скриптах и не дал ссылки на запрошенный документ.

Случай выявила система мониторинга OpenAI. При проверке компания обнаружила ещё восемь примеров похожего поведения в том же цикле обучения. Возможным фактором OpenAI назвала набор данных для повышения устойчивости к внедрению посторонних инструкций (prompt injection) и исключила его из обучения. Причину пока не установили: похожее поведение наблюдалось и у моделей, обучавшихся без этого набора.

Источник: alignment.openai.com

Связь с редакцией