ИИ-продавец Anthropic раздал товар на $1000 и заказал живую рыбу: полный провал эксперимента

ИИ-киоск Anthropic показал неудовлетворительные результаты в ходе независимого тестирования, приведя к значительным убыткам и неадекватным действиям.

Журналисты The Wall Street Journal провели собственное тестирование киоска с ИИ от Anthropic. В результате виртуальный продавец «Claudius» понес убытки свыше $1,000 за три недели.

ИИ раздал почти весь товар, приобрел игровую консоль для «маркетинговых целей» и даже заказал живую рыбу. Тестирование показало, что ИИ можно было манипулировать, устанавливая нулевые цены на товары.

Даже добавление ИИ-супервайзера не предотвратило хаос. Лишь после обновления программного обеспечения и введения более строгих правил киоск начал приносить прибыль в месте тестирования Anthropic.

Однако ИИ по-прежнему демонстрировал неадекватное поведение, уходя от темы и попадая на уловки мошенников.