Технологии хранения сетевой эпохи

Эрнст Долгий,
"Экспресс-Электроника" №11/2003

Стоимость систем хранения информации стремительно снижается: NAS-решения, преимущественно на базе дисков с интерфейсом АТА, относят уже к системам начального уровня. Впрочем, NAS не единственная широкодоступная технология на рынке. Именно в разнообразии решений и технологий хранения информации, а также их рыночных перспективах мы и попробуем разобраться.

Вопрос о необходимости построения системы хранения на предприятии возникает по самым разным причинам. Этого диктуется возросшими требованиями к уровню безопасности данных, впрочем, и сам рост объемов хранимой информации заставляет задуматься об этом. В результате, компаниям-интеграторам приходится сталкиваться с довольно сложными и трудоемкими задачами, решение которых можно свести к следующему: либо модернизировать существующую в компании систему хранения, либо создать принципиально новую. Среди наиболее типичных проблем - недостаточный объем дискового пространства на имеющемся файл-сервере при отсутствии возможности его расширения. Например, в корпусе сервера попросту нет места для установки новых дисков, а установленная операционная система (системы SGI, Alpha Server, Mac) не позволяет производить модернизацию стандартными доступными средствами. К слову, именно последняя проблема нередко и обуславливает высокий интерес к внешним системам хранения, применение которых становится единственным способом решения целого сектора проблем. Также следует понимать, что на базе файл-сервера не всегда возможна организация надежной и отказоустойчивой системы хранения. Иногда, чтобы добиться необходимого уровня безопасности и надежности, приходится обращаться к кластеризации, а в этом случае без создания выделенной системы хранения информации просто не обойтись. Исключение составляет массив независимых серверов с избыточностью (Redundant Array of Independent Server), подразумевающий чередующееся использование серверов, который, как и любая резервная система с избыточностью, не всегда может быть принят на вооружение из-за крайней неэкономичности по отношению к аппаратным ресурсам.

Network Attached Storage (NAS)

Network Attached Storage - технология, созданная для повышения производительности систем хранения данных. Конструктивно NAS представляет собой специализированный кэшируемый сервер, который подключается напрямую к локальной сети, так что все пользователи имеют доступ к данным на уровне файлов. В большинстве случаев NAS является оптимальным решением для небольших компаний, позволяя создать емкую сеть хранения информации малыми средствами.

Серверы NAS, если пользоваться общепринятой терминологией, являются Plug-and-play-устройствами. Они подключаются к существующей ЛВС, сами определяют свои IP-адреса, а затем появляются в сети как дополнительные накопители информации. За счет того, что серверы NAS выполняют лишь строго ограниченные функции, в них зачастую используются либо специальные операционные системы, либо стандартные ОС с ограниченной функциональностью, а это позволяет использовать недорогие встраиваемые процессоры с небольшими объемами оперативной памяти, ведь они расходуются лишь на хранение и извлечение данных. Следовательно, NAS-решения - очень надежные и стабильные системы с невысокой ценой. Кроме того, NAS-серверы являются мультипротокольными, то есть поддерживают несколько сетевых протоколов файловых систем, например NFS (UNIX), CIFS (Windows), а также HTTP (iSCSI) для создания географически удаленных участков сети средствами Интернета. Если говорить о недостатках NAS, то они, как странно бы это ни прозвучало, - прямое следствие достоинств. Поскольку Network Attached Storage подключается напрямую к существующей ЛВС, появляется такая проблема, как транзит данных между NAS-сервером и серверами приложений (или клиентскими ПК конечных пользователей). Другими словами, активное использование NAS существенно сужает полосу пропускания и перегружает сеть.

Storage Area Networks (SAN)

Сети хранения данных являются логическим развитием NAS и обычно состоят из устройств хранения, объединенных в свою собственную сеть, обособленную от корпоративной ЛВС. Такие структуры могут быть разнесены по площади, занимающей несколько километров, и обычно используют оптические каналы связи. Архитектура SAN подразумевает присутствие емких массивов данных. Так как SAN работает на независящей от ЛВС элементной базе, полоса пропускания локальной сети обосабливается от служебных транзакций данных, чем достигается ее разгрузка. А значит, SAN решает основную проблему NAS при ее активном использовании - чрезмерную загрузку локальной сети.

Обычно сеть хранения строится по технологии Fibre Channel, хотя ничто не мешает применять и другие технологии. Известны реализации SAN на основе Ethernet с большими размерами пакетов, что резко увеличивает скорость передачи данных. Конечная цель применения архитектуры SAN - более простое администрирование. Кроме того, существенно уменьшается вмешательство человека в работу систем хранения данных (без ущерба производительности или доступности).

SAN обладает высокой способностью к масштабированию. Это объясняется тем, что SAN-решения реализуются на выделенной сети. Такое обстоятельство позволяет свободно добавлять системы хранения данных, без реконфигурирования приложений, обслуживаемых ими. SAN предназначена для решения потребностей хранения данных скорее предприятий, чем отдельных рабочих групп. По мнению аналитиков из European Storage Systems, SAN - идеальное решение для консолидации систем хранения данных внутри предприятия, основанных, например, на архитектуре NAS.

В то же время SAN-системы имеют ряд недостатков. Так как SAN функционирует по принципу двухточечного соединения между сервером-хранилищем и дисками, то когда несколько хостов начинают совместно использовать ресурсы хранилища, возникают вопросы безопасности и искажения данных. Поскольку SAN использовует различные устройства хранения данных, возникает необходимость иметь возможность связываться с различными операционными системами через разные соединительные устройства (коммутаторы, маршрутизаторы).

Наибольшая проблема SAN - несовместимость оборудования, выпускаемого различными производителями. В области сетевого хранения данных принято приобретать решения, которые позволят не зависеть от одного поставщика. Правда, для этого необходимо обеспечить полную совместимость продуктов от разных поставщиков.

iSCSI

iSCSI - спецификация объединения хранилищ в сеть на базе TCP/IP, которая позволяет любому SCSI хранилищу, подключенному в IP-сеть, участвовать в резервном копировании из любой точки этой сети. Передавая команды SCSI через IP-сеть, iSCSI создает условия для создания удаленного развертывания и управления хранилищами данных, а также передачу данных через интрасети. Накопители и серверы могут добавляться в любых удобных местах, не обязательно вблизи друг от друга, как в случае с типичными системами на базе Fibre Channel.

Поскольку IP (Ethernet и Gigabit Ethernet) широко применяется во всех видах сетей, включая Интернет, глобальные и локальные сети, все они могут использовать iSCSI. Трафик может передаваться через существующие интрасети/Интернет без их модернизации. Вложения в TCP/IP-сети повышают вероятность того, что конечные пользователи выберут протокол, способный использовать имеющуюся инфраструктуру.

При этом нужно понимать, что любое отдельно стоящее устройство (ленточное или дисковое) с кабелем питания и интерфейсным соединителем и будет NAS. И это не зависит от того, какой протокол реализован внутри него. Кроме того, как NAS так и DAS расширяются одинаково, так как внутри и у тех и у других SCSI-диски. Другое дело, что на локальную сеть можно повесить сколько угодно таких устройств, а дисковое пространство DAS ограничено числом SCSI-каналов у RAID-контроллера. Традиционные решения SCSI имеют собственную выделенную шину связи с накопителем, с приемлемым коэффициентом ошибок и высокой скоростью передачи с малой задержкой. TCP/IP должен быть адаптирован для соответствия этим требованиям. Решения на базе iSCSI для достижения оптимальной производительности должны использовать гигабитную сеть, а также программное обеспечение с модифицированным стеком TCP/IP.

Несколько слов о конкурентах

Storage Networking Industry Association в феврале 2001 года был организован SNIA IP Storage Forum, в цели которого входит развитие и выделение наиболее перспективного протокола из числа FCIP, iFCP и iSCSI, представляющих собой протоколы, связанные с блочным обменом данными по IP-сетям. Рассмотрим два первых подробнее.

• FCIP - основанный на TCP/IP туннельный протокол, позволяющий объединить географически разнесенные сети хранения, построенные по технологии Fibre Channel. Иногда его называют также Fibre Channel over TCP/IP. Данный подход ориентирован на объединение IP-сетями изолированных сетей хранения, построенных по технологии Fibre Channel. Таким образом, формируются сети хранения на уровне LAN, MAN или WAN. Как следует из названия, спецификация является сочетанием двух подходов; из трех вариантов это наименее радикальное решение. В нем необходимая функциональность распределена между Fibre Channel и TCP/IP.
• iFCP - основанный на TCP/IP протокол для объединения в сеть устройств или сетей, выполненных по технологии Fibre Channel, использующий инфраструктуру IP вместо коммутирующих и маршрутизирующих элементов Fibre Channel.

Parallel ATA и Serial ATA

В настоящее время диски с интерфейсом АТА получили очень широкое распространение в системах типа NAS, - SCSI-продукты переведены производителями в более высокую ценовую нишу и не используются в решениях среднего уровня, не говоря уже о начальном. Словом, SCSI-диски, будучи в среднем в 5-6 раз более дорогими, чем АТА-решения, позиционируются сегодня только как высокоуровневое решение, да и скорость, предлагаемая ими, нужна не во всем и не всегда. Кроме того, надежность этих решений может быть достигнута при условии использования алгоритмов избыточности. Именно из-за сочетания своих возможностей и стоимости системы на базе ATA-RAID получили весьма широкое распространение. Так, при использовании двух- или четырехдисковых АТА-RAID-массивов уровней 1 или 0+1 вероятность утери информации крайне мала, а скорости функционирования хватает с избытком. Если необходимость создания хранилища информации с блочным выходом данных все-таки существует (например, для построения iSCSI-сети), то есть возможность применить внешний SCSI- или Fibre Channel-контроллер, который легко трансформирует команды внутреннего дискового АТА-массива в необходимый протоколам формат. Таким образом, достигается экономия средств.

Эра забвения SCSI

С появлением массовых продуктов на базе интерфейсной модели Serial ATA, решений, использующих концепцию АТА, станет еще больше. Об этом говорят практически все производители Serial ATA-продуктов. Что касается стандарта Serial ATA II, после его ратификации позиции SCSI-систем сместятся в более высокую нишу и станут почти эксклюзивными решениями. Все дело в том, что Serial ATA II подразумевает внедрение ряда технологий, которые в настоящее время являются преимуществом SCSI-накопителей. Так, наиболее интересной новинкой в прототипе спецификации Serial ATA II стала встроенная технология очередности команд (Native Command Queuing) - новая ключевая особенность интерфейса Serial ATA II, позволяющая использовать интеллектуальные алгоритмы в работе серверов начального уровня, сетевых систем хранения данных и высокопроизводительных ПК, еще больше увеличившая привлекательность IDE-решений по сравнению с SCSI. Технология очередности команд является долгожданной возможностью нового стандарта. Она позволяет дисковому накопителю одновременно принимать несколько запросов ввода/вывода от процессора и самостоятельно формировать очередность исполнения команд для достижения максимальной скорости обмена данными. Дисковые накопители с поддержкой интерфейса Serial ATA II смогут расставлять запросы в очередь и выполнять их самостоятельно, без участия центрального процессора или чипсета материнской платы.

Технология очередности команд не единственная новация в Serial ATA II. Компании-участники Serial ATA II Working Group работают и над другими технологиями в числе которых:

• технологии, улучшающие производительность, за счет внеочередного исполнения команд и разбивки/сборки потока данных;
• полный мониторинг дисковой подсистемы, включая управление вентилятором, индикаторами активности, температурным контролем и уведомлением о подключении новых устройств;
• подключение через соединительную плату, что позволяет преодолеть ограничения, связанные с длиной шлейфа стандарта Serial ATA 1.0, и использовать съемные устройства с возможностью горячей замены;
• возможность эффективного подключения большого количества дисковых накопителей.

Не так страшен черт, как его малюют

Развитие идеи SCSI носит название Ultra320 SCSI. Стоит заметить, что смещение SCSI-решений в высокий уровень видно хотя бы из тех изменений, которые мы наблюдаем по нововведениям Ultra320. Так, несмотря на полную обратную совместимость с предыдущими поколениями устройств, Ultra320 SCSI содержит ряд существенных нововведений, направленных на популяризацию устройств с этим интерфейсом в серверном сегменте. Например, в нем развита поддержка пакетной передачи данных ( Packetized SCSI), которая позволяет объединить нескольких блоков данных для передачи от одного устройства к другому. Ранее (в спецификации Ultra160) для того, чтобы передать блок данных, необходимо было установить связь между ними, для чего по шине передавался сигнал синхронизации - Ack. Понятно, что при работе с большими блоками информации необходимость генерирования сигнала синхронизации особых проблем не создает, но когда размер блока данных мал, а количество передаваемой информации велико, сигналы Ack загружают канал интерфейса. В итоге шина транспортного канала перегружается, из-за чего происходят задержки. Таким образом, в устройствах, использующих спецификацию Ultra160, пропускная способность дисковой шины может быть значительно ниже номинальных 160 Мбайт/с. В результате это могло бы существенно повлиять на рост популярности систем SAN, использующих надстройки iSCSI. Многие специалисты склоняются к мнению, что организация Internet Engineering Task Force (IETF), которая недавно формально ратифицировала спецификации надстройки iSCSI, сделала это только с оглядкой на внесенные в структуру SCSI пакетно-ориентированные изменения.

Именно важность передачи значительного количества небольших по размерам пакетов заставила разработчиков внести изменения в новую спецификацию стандарта SCSI. Протокол Ultra320 SCSI подразумевает, что между синхронизирующими импульсами одной сессией может быть послано сколь угодно большое число пакетов информации, в результате чего эффективная пропускная способность интерфейса приближается к пиковой скорости передачи данных - 320 Мбайт/с. Впрочем, все же следует понимать, для обеспечения максимальной пропускной способности необходимо, чтобы все компоненты дисковой подсистемы (контроллер, кабель, корзина и сам жесткий диск) поддерживали соответствующую спецификацию.

Несмотря на весьма привлекательные идеи, заложенные в интерфейс UltraSCSI 320, ни ему, ни его ранее заявленному правопреемнику - UltraSCSI 640 - скорее всего, не быть общеиндустриальным решением для систем хранения информации. На смену стандарту UltraSCSI 320 должен прийти Serial Attached SCSI (SAS), который, являясь полным правопреемником концепции SCSI, по замыслу разработчиков, должен вновь вернуть былые рыночные позиции этому интерфейсу в области систем начального и среднего уровня.

Разрабатываемый в настоящее время интерфейс Serial Attached SCSI сочетает в себе некоторые особенности Serial ATA и Fibre Channel. И хотя в его названии присутствует аббревиатура SCSI, он все же имеет больше общего с Serial ATA-интерфейсом. По сути, Serial Attached SCSI является усовершенствованием Serial ATA, причем еще более далеко идущим, нежели Serial ATA II. Так, в черновых спецификациях Serial Attached SCSI длина интерфейсного кабеля составляет 10 м, а число устройств, которое может быть одновременно обслужено в режиме полного дуплекса, составит 4096, при этом будет реализована полная совместимость со старым набором SCSI-команд. Впрочем, Serial Attached SCSI вряд ли станет конкурентом SATA, равно как и наоборот. Рынок высокоуровневых систем весьма консервативен, и сражения массовых и узкоспециализированных решений на одном поле вряд ли возможно.

Заключение

Все рассмотренные разработки и множество других, оставшихся за рамками этого материала, предназначены для того, чтобы управление хранением данными стало более гибким и легким, а также для дальнейшего их удешевления и проникновения в самые разные сферы. Наиболее вероятно, что не какая-то отдельная технология или метод возьмут верх. Скорее всего, решения будут сочетаться в разных технологиях, и в результате конечные пользователи получат больше возможностей для выбора способов управления хранением данных.

Врезка. Система хранения информации "в разрезе"

В общем виде система хранения информации состоит из нескольких жестких дисков, подключенных к I/O-контролеру, интерфейсного контроллера, обеспечивающего связь системы с внешними компьютерами, а также системы питания. Контроллер ввода/вывода дисковой системы может быть наделен различными логическими функциями, среди которых объединение дисков в массивы (RAID), горячая замена дисков, кэширование информации и энергонезависимое поддержание ее функционирования в ограниченные промежутки времени. Не следует забывать, что I/O-контроллер не является центром дисковой системы хранения. Он лишь отвечает за ввод/вывод данных в рамках системы, а также организацию и контроль функционирования основных элементов системы хранения.

За связь системы хранения с "внешним миром" отвечает интерфейсный контроллер, обычно оборудованный поддержкой сразу нескольких протоколов и интерфейсов, причем некоторые современные системы, помимо внешних функций ввода/вывода, могут служить еще и мостами между разнопротокольными частями систем. Чаще всего системы хранения информации оборудуются средствами поддержки SCSI, FibreChannel, Ethernet. Кроме того, различные системы информации в зависимости от позиционирования могут выдавать данные как на блочном уровне (как это делают отдельные винчестеры), так и в виде порций, необходимых файловым сервисам по протоколам CIFC, NFS, DAFS.

Что касается встроенной системы энергопотребления (блока питания или - иногда - резервной батареи), ее наличие обуславливается сложностью и высокой стоимостью элементов, предотвращение нарушений режимов работы которых - одна из задач околодисковой "обвязки" системы хранения информации.