Artificial Analysis запустила рейтинг поисковых API для ИИ-агентов

Платформа Artificial Analysis представила Search Index — стандартизированный тест поисковых API по качеству ответов, стоимости и скорости работы в составе ИИ-агента. В первом сравнении лидерами по качеству стали решения Parallel, Exa и Firecrawl.

Платформа для тестирования ИИ-систем Artificial Analysis запустила Search Index — рейтинг поисковых API, предназначенных для ИИ-агентов. В первую версию вошли сервисы Parallel, Exa, Firecrawl, You.com, Tavily, Keenable и Brave.

Все API проверяются в одинаковой конфигурации: меняется только поставщик поиска, а модель GPT-5.6 Luna, уровень рассуждений и агентная среда Stirrup остаются неизменными. Агенту разрешено до 25 ходов с инструментами поиска и загрузки веб-страниц.

Итоговый балл складывается с равными весами из трёх наборов заданий: 900 исследовательских вопросов DeepSearchQA, 200 сложных задач BrowseComp и 600 вопросов AA-Omniscience из шести областей знаний. В первом опубликованном срезе модель без доступа к поиску получила 33 балла, а с поисковыми API — от 65 до 75. Результаты Parallel, Exa и Firecrawl составили соответственно 75, 74 и 73 балла.

Тест также показал, что более дорогой отдельный запрос может снизить общую стоимость задачи. Режим Parallel Advanced использовал более чем на 40% меньше токенов, чем Basic, а итоговые расходы составили $0,084 против $0,11 на задачу. Ускорение одного запроса тоже не обязательно сокращает полное время работы: режим Turbo отвечал за 0,51 секунды против 1,03 секунды у Basic, но из-за меньшего качества агенту требовалось больше итераций.

Artificial Analysis опубликовала полную методику Search Index, включая настройки поставщиков, правила расчёта стоимости и измерения задержек.