Logo Море(!) аналитической информации!
IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware
2008 г.

OLTP в Зазеркалье

Ставрос Харизопулос, Дэниэль Абади, Сэмюэль Мэдден, Майкл Стоунбрейкер
Пересказ: Сергей Кузнецов

Оригинал: Stavros Harizopoulos, Daniel J. Abadi, Samuel Madden, Michael Stonebraker. OLTP Through the Looking Glass, and What We Found There, Proceedings of the ACM SIGMOD International Conference on Management of Data, Vancouver, BC, Canada, June 2008

В статье, пересказ которой предлагается вашему вниманию, развивается тема, начатая авторами в статье Конец архитектурной эпохи, или Наступило время полностью переписывать системы управления данными, опубликованной в начале осени 2007 г. Напомню, что в этой статье речь шла о необходимости применения новых подходов для построения систем управления данных, обеспечивающих высокую эффективность в конкретных областях использования. В том числе, описывались основные черты исследовательской системы H-Store, которая продемонстрировала на тестовом наборе TPC-C производительность, превосходящую на два десятичных порядка производительность одной из ведущих SQL-ориентированных СУБД.

В данной статье, фактически, объясняется, почему в H-Store удалось добиться такой производительности. Авторы взяли не очень известную систему Shore с открытыми исходными текстами, сконфигурировали ее таким образом, чтобы требуемая для их экспериментов база данных полностью помещалась в основной памяти, и измерили производительность полученной системы базы данных на смеси двух транзакций из тестового набора TPC-C. Затем они последовательно стали удалять из состава Shore компоненты журнализации, синхронизации и управления буферным пулом, и в результате получили вариант системы с ограниченной функциональностью, которая показала на том же тестовом наборе производительность, в 20 раз большую, чем у исходной Shore.

Статья кажется мне очень интересной, поскольку, во-первых, в ней приводятся численные характеристики накладных расходов, порождаемых различными компонентами традиционных СУБД при выполнении рабочей нагрузки категории OLTP. Во-вторых, и это должно быть особенно интересно для молодежи, в статье описывается архитектура СУБД, которая, хотя и является традиционной, довольно сильно отличается от архитектуры систем, происходящих от System R. Наконец, чрезвычайно занимательны выводы авторов статьи относительно исследований, которые требуются для построения систем баз данных OLTP нового поколения.

Я постарался обеспечить в списке литературы ссылки на открытые источники почти всех содержащихся в нем статей. Хочу заметить, что список литературы очень качественный. Рекомендую им воспользоваться для дополнительного самообразования.

Сергей Кузнецов

Аннотация

Системы баз данных, поддерживающие приложения оперативной обработки транзакций (Online Transaction Processing, OLTP), обладают рядом свойств (B-деревья, поддерживаемые во внешней памяти, файлы с неупорядоченными данными, управление параллелизмом на основе блокировок, поддержка многопотокового режима), которые были оптимизированы в конце 1970-х гг. Достижения в областях процессоров, систем основной памяти и сетей привели к тому, что сегодняшние компьютеры чрезвычайно сильно отличаются от компьютеров 30-летней давности, так что многие базы данных OLTP могут теперь размещаться в основной памяти, и большинство OLTP-транзакций может выполняться в пределах миллисекунд или еще быстрее. Однако архитектура систем баз данных практически не изменилась.

Основываясь на этом наблюдении, авторы занимаются поиском интересных вариантов модификации традиционных систем баз данных, которые можно было бы произвести с использованием современных тенденций в области аппаратуры, и размышляют об их эффективности на основе детального (на уровне команд) анализа основных компонентов, входящих в систему баз данных обработки транзакций (Shore), на которой выполняется подмножество тестового набора TPC-C. Авторы не просто профилировали Shore, а постепенно модифицировали эту систему таким образом, что после каждого удаления или оптимизации некоторой возможности получалась более быстрая работающая система, полностью поддерживающая заданную рабочую нагрузку. В общем и целом удалось выявить накладные расходы и оптимизационные приемы, которые объясняют двадцатикратное превосходство Shore над традиционными системами баз данных категории OLTP. Авторы также демонстрируют, что современные (с хранением данных в основной памяти) системы баз данных могут демонстрировать высокую производительность далеко не только за счет отсутствия обменов с дисками; в традиционных системах существенное время тратится на журнализацию, организацию критических участков, блокировки, поддержку B-деревьев и управление буферами основной памяти.

1. Введение
1.1 Альтернативные архитектуры СУБД
1.2 Измерение накладных расходов OLTP
1.3 Результаты
1.4 Вклад авторов и организация статьи
2. Тенденции в области OLTP
2.1 Кластерные вычисления
2.2 Базы данных, хранимые в основной памяти
2.3 Однопотоковый режим в системах OLTP
2.4 Высокая доступность в противовес журнализации
2.5 Варианты транзакций
2.6 Резюме
3. Shore
3.1 Архитектура Shore
4. Исследование производительности
4.1 Рабочая нагрузка OLPTP
4.2 Экспериментальная установка и методология измерений
4.3 Экспериментальные результаты
4.3.1 Воздействие на пропускную способность
4.3.2 Payment
4.3.3 New Order
4.3.4 Команды по сравнению с тактами
5. Следствия для будущих серверов баз данных OLTP
5.1 Управление параллелизмом
5.2 Поддержка многоядерных процессоров
5.3 Управление репликацией
5.4 Слабая согласованность
5.5 B-деревья с учетом знаний о поведении кэша
6. Родственные исследования
7. Заключение
8. Благодарности
9. Оценка повторяемости результатов
10. Литература

Вперёд

Новости мира IT:

Архив новостей

Последние комментарии:

Релиз Linux-дистрибутива Fedora 24 (5)
Пятница 01.07, 11:58
Loading

IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware

Информация для рекламодателей PR-акции, размещение рекламы — adv@citforum.ru,
тел. +7 985 1945361
Пресс-релизы — pr@citforum.ru
Обратная связь
Информация для авторов
Rambler's Top100 TopList liveinternet.ru: показано число просмотров за 24 часа, посетителей за 24 часа и за сегодня This Web server launched on February 24, 1997
Copyright © 1997-2000 CIT, © 2001-2015 CIT Forum
Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее...