Установлен рекорд скорости сортировки данных

Исследователи из Калифорнийского университета в Сан-Диего (США) создали систему, которая за минуту справилась с сортировкой массива данных объёмом 1,014 Тб.

Результат был показан на специализированных «соревнованиях» Sort Benchmark, где для выявления победителей используются эталонные тесты.

«Сортировка — комплексное испытание, которое позволяет моделировать целый ряд других проблем обработки данных, — рассказывает участник научной группы Алекс Расмуссен (Alex Rasmussen). — Это удобный способ измерения того, насколько быстро вы можете считать данные с некоторого набора дисков, произвести какие-то простые операции, передать информацию по сети и записать её на другие диски. Сортировка нагружает всю подсистему ввода/вывода: жёсткие диски, сетевое оборудование, операционную систему, прикладное ПО».

Установившая рекорд система состояла из 52 серверов HP ProLiant DL380 G6. Каждый оснащён двумя четырёхъядерными процессорами Intel Xeon E5520, работающими на частоте 2,27 ГГц, 24 Гб оперативной памяти и 16 жёсткими дисками на 500 Гб, отформатированными в файловой системе ext4. На всех компьютерах была установлена ОС с Linux-ядром версии 2.6.32.8. Развёрнутое описание экспериментальной установки можно скачать отсюда.

Команда Калифорнийского университета также заняла первое место в другой номинации, где требовалось отсортировать 100 Тб данных. На решение этой задачи ушло 10 318 секунд (около 172 минут); скорость сортировки, таким образом, составила 0,582 Тб/мин. Показавшая этот результат система была построена на основе 47 серверов описанной выше конфигурации. «Мы использовали в четыре раза меньше компьютеров, чем команда, ранее добившаяся таких же значений скорости сортировки, — говорит другой участник работ Джордж Портер (George Porter). — А это значит, что в четыре раза было снижено энергопотребление и размеры системы».

Подготовлено по материалам Калифорнийского университета в Сан-Диего.