Mozilla, Google, Microsoft и Apple разработали тест производительности браузеров Speedometer 3.0

Спустя шесть лет c момента прошлого выпуска представлен обновлённый инструментарий для тестирования производительности и отзывчивости web-браузеров - Speedometer 3.0, подготовленный совместно компаниями Mozilla, Google, Microsoft и Apple. Ключевой задачей тестового набора называется оценка задержек при симуляции работы пользователя с типовыми web-приложениями.

Speedometer 3.0 стал первым набором для оценки производительности браузеров, созданным совместно представителями конкурирующих браузерных движков Blink/V8, Gecko/SpiderMonkey и WebKit/JavaScriptCore, которые сумели выработать общую политику в отношении тестирования. Код Speedometer распространяется под лицензией BSD и начиная с 2022 года разрабатывается в соответствии с новой моделью управления проектом, подразумевающей совместное принятие решений с достижением консенсуса. Репозиторий открыт для участия любых заинтересованных лиц и продвижения своих идей и исправлений.

В Speedometer 3.0 осуществлён переход на применение новых выпусков фреймворков Angular, Backbone, jQuery, Lit, Preact, React, React+Redux, Svelte и Vue. Задействованы современные шаблоны проектирования сайтов и web-приложений, например, использование Webpack, Web Components и новых методов работы с DOM. Добавлены тесты для оценки производительности отрисовки при помощи элемента Canvas, генерации SVG, обработки сложных CSS, работы с очень большими деревьями DOM и использования методов, применяемых при редактировании контента в режиме WYSIWYG и при работе с новостными сайтами.

В инструментарии для запуска тестов расширен спектр операций в браузере, учитываемых при измерении реакции на действие пользователя, например, измеряется не только время выполнения кода, но и время отрисовки и асинхронного выполнения задач. Для разработчиков браузеров подготовлены инструменты для анализа результатов выполнения тестов, профилирования и изменения параметров тестов. Предоставлена возможность создания собственных сложных сценариев запуска тестов.

Эталонные тесты, задействованные в Speedometer 3.0 для оценки производительности:

• Добавление, заполнение и удаление 100 заметок с использованием менеджера задач TodoMVC, реализованного в вариантах на базе разных web-фреймворков, методов работы с DOM и версий стандарта ECMAScript. Например, запускаются варианты TodoMVC на базе фреймворков React, Angular, Vue, jQuery, WebComponents, Backbone, Preact, Svelte и Lit, а также варианты, использующие расширенные возможности, появившиеся в спецификациях ECMAScript 5 и ECMAScript 6.
• Редактирование текста с разметкой в режиме WYSIWYG, используя редакторы кода CodeMirror и TipTap.
• Загрузка и взаимодействие с диаграммами, оформленными через элемент canvas или сгенерированными в формате SVG при помощи библиотек Observable Plot, chart.js и react-stockcharts.
• Навигация по страницам и взаимодействие с контентом на типовых новостных сайтах, на которых используются web-фреймворки Next.js и Nuxt.

При прохождении тестового набора Speedometer 3.0 в macOS лидирует Chrome (22.6), за которым следуют Firefox (20.7) и Safari (19.0). В проведённом с теми же браузерами тесте Speedometer 2.1 победил Safari (481), от которого немного отстал Firefox (478) и заметно отстал Chrome (404). При запуске в Ubuntu 22.04 браузер Chrome набрал 13.5 и 234 баллов, а Firefox - 12.1 и 186 баллов в версиях Speedometer 3.0 и 2.1.