Компании начинают считать стоимость токенов при внедрении генеративного ИИ

Рост использования корпоративных ИИ-инструментов превращает расходы на токены в отдельную управленческую задачу. 8x8 пока считает внедрение Claude экономически выгодным, но уже обсуждает возможные лимиты на более дорогие модели.

Расходы на токены — единицы текста, которые языковые модели обрабатывают и генерируют, — становятся самостоятельной проблемой для компаний, внедряющих генеративный ИИ. WIRED пишет, что в апреле–мае около 300 компаний поднимали вопросы или опасения, связанные с AI-токенами, на звонках о финансовых результатах и в публичных обсуждениях с аналитиками. Годом ранее слово «token» в таких обсуждениях встречалось у 93 компаний.

Один из примеров — 8x8, разработчик облачной коммуникационной платформы для продаж и поддержки клиентов. Компания использует Anthropic Claude для подготовки писем, анализа обратной связи от клиентов и написания кода. За последние 18 месяцев 8x8 оценила ежегодную экономию примерно в $5 млн за счёт отказа от десятков других программных и обучающих подписок; годовой счёт за Claude, по словам директора по трансформации и бизнес-операциям Джоэла Ниба, пока «значительно ниже» этой суммы.

При этом 8x8 уже обсуждает возможные ограничения на использование более дорогих моделей. Поводом стал рост внутреннего использования Claude Opus 4.8, которая, по данным компании, стоит почти в 1,7 раза дороже предложения Anthropic, выпущенного в феврале. Один из вариантов — давать доступ к более дорогой модели только после проверки, что более дешёвые версии не справляются с задачей.

Похожие вопросы возникают и у других компаний. Royal Bank of Canada сообщил о росте использования токенов на 500% за шесть месяцев, у Cisco внутренним ИИ-чатботом ежедневно пользуется треть сотрудников, а в Amplitude отдельные ведущие инженеры тратят на токены тысячи долларов в месяц. Корпоративное внедрение генеративного ИИ всё чаще требует не только доступа к моделям, но и систем учёта, выбора подходящей модели под задачу и контроля окупаемости вычислительных расходов.