Coinbase сократила расходы на ИИ вдвое за счёт маршрутизации запросов и китайских моделей

Coinbase стала активнее использовать более дешёвые китайские AI-модели, включая GLM 5.2 и Kimi 2.7. Автоматическая маршрутизация запросов и улучшенное кэширование, по словам главы компании Брайана Армстронга, позволили снизить расходы на ИИ примерно вдвое при продолжающемся росте потребления токенов.

Американская криптовалютная биржа Coinbase использует в рабочих AI-сценариях более дешёвые китайские модели, включая GLM 5.2 и Kimi 2.7, сообщает The Decoder со ссылкой на CEO компании Брайана Армстронга.

По данным Армстронга, в Coinbase действует автоматическая система маршрутизации: она выбирает модель для каждого запроса с учётом задачи, цены и возможности использовать кэш. Улучшение кэширования повысило долю попаданий с 5% до 60%, а совокупные расходы на ИИ снизились примерно вдвое, хотя общий объём используемых токенов продолжает расти.

Разработчики Coinbase по-прежнему могут выбирать нужные модели вручную, но компания делает потребление AI-ресурсов видимым для сотрудников и связывает высокие расходы с ожиданием большего результата.