IP для сетей хранения

Леонид Черняк
22.01.2002
Открытые системы, #01/2002

Бизнес-факторы, определяющие актуальность и привлекательность сетей хранения, очевидны. Современные Internet-приложения отличаются не только большими объемами информации, которой они оперируют, но и тем, что существуют в ее среде и, по существу, информацией управляются. Вследствие этого изменилось и само отношение к хранимым данным — системы хранения стали центром, а серверы переходят в разряд периферии.

Постоянно возрастающий объем накопленных данных вызывает взрывной спрос на системы хранения, которые способны обеспечить динамическое масштабирование, высокую готовность и уменьшение затрат на управление, т.е. увеличение числа терабайт на одного администратора. Именно поэтому, как ответ на новые запросы, и появились сети хранения. Идея консолидации хранения оказалась настолько привлекательной, что немедленно вызвала многочисленные позитивные и многообещающие высказывания. Началось обычное для нашего времени явление, которое называют hype, buzz или шумихой — кому что милее.

Доверяя бумаге, про овраги, конечно же, забыли. Существующие в настоящее время сети хранения строились и пока по-прежнему строятся преимущественно по технологии Fibre Channel, используемой в качестве средства транспортировки данных между системами хранения и серверами. За несколько лет своего существования сети хранения практически однозначно ассоциировались с Fibre Channel. Между тем, при первых же практических попытках внедрения сетей хранения стало понятно, что идея развертывания выделенной высокоскоростной сети, специально предназначенной для блочного обмена данными, очень хорошо смотрится в теории, но, увы, на практике оказывается далеко не столь простой. К тому же в реальной жизни встают непростые практические вопросы наподобие несовместимости продуктов разных производителей, нехватки специалистов соответствующей квалификации и высокой стоимости проектов. Эксплуатация сетей хранения показала, что реальной экономической проблемой становится не только стоимость сетевого оборудования или устройств хранения, но и затраты на управление и администрирование.

Сложности, выявляющиеся при внедрении, усугубляются слабостью стандартизации, точнее, потенциальной возможностью для использования каждым из производителей той интерпретации стандартов, которая ему предпочтительнее. Для того чтобы справиться с проблемами несовместимости, ведущие крупные компании не только вынуждены создавать свои собственные средства управления — им еще приходится строить огромные тестовые центры, инвестируя в них миллионы долларов. Как бы не гордились своими инвестициями в тестовые лаборатории ведущие компании, в конечном итоге эти затраты ложатся на покупателя — и все это, по большей части, в основном ради преодоления сохраняющихся проблем несовместимости аппаратных и программных средств.

В итоге, спустя несколько лет после появления решений категории SAN (первые коммерческие предложения датируются 1997 годом), можно с уверенностью сказать, что сети хранения первого поколения, безусловно, изменили ландшафт корпоративных инфраструктур, но все же не полностью, они не оправдали возложенные на них ожидания. Поэтому в 2001 году в качестве альтернативы им, стали рассматривать несколько новых технологий, использующих протокол Internet Protocol. В основном они сохраняют идеологию SAN, но основываются на иных технических решениях.

Разумность обращения в эту сторону не вызывает сомнения, поскольку существующие инфраструктуры IP и Ethernet образуют прочный фундамент всех сетей передачи данных и, если бы удалось приспособить эти хорошо знакомые специалистам технологии для целей сетей хранения, то удалось бы сразу убить нескольких зайцев.

Прежде всего, существенно сокращаются затраты на исследования и разработки, поскольку можно использовать одни и те же технические средства для создания и управления и традиционной сетевой инфраструктуры, и сетей хранения; в итоге снижается общая стоимость проектов.

Во-вторых, практически полностью решается проблема подготовки обслуживающего персонала. Несомненно, в недалеком будущем производители систем хранения на базе IP сумеют адаптировать для своих нужд такие инструменты управления, как CA Unicenter, HP OpenView или Tivoli.

Наконец, снимается с повестки дня проблема расстояния, следовательно, появляется возможность выработки более надежной стратегии при создании катастрофоустойчивых конфигураций, решаются проблемы дистанционного зеркалирования дисков, кластеризации серверов, создания резервных копий и т.д. Область действия SAN получает распространение на большие расстояния, на глобальные сети (WAN — wide area network) и на городскую инфраструктуру, теперь часто называемую сетями MAN (metro area network, от греческого metropolis, «большой город»).

Альтернативные технологии

В ответ на новые тенденции в рамках стандартизирующей организации Storage Networking Industry Association в феврале 2001 года был образован специальный форум SNIA IP Storage Forum. Миссия форума заключается в развитии стандартов для решений, связанных с блочным обменом данными по IP-сетям. Форум разделен на три подгруппы, соответственно трем основным технологическим направлениям: FCIP, iFCP и iSCSI.

• iSCSI — полностью основанный на TCP/IP протокол, позволяющий установить взаимодействие и управлять устройствами хранения, серверами и клиентами, построенными на идеях IP. Это самый революционный подход к преображению SAN, предлагающий использовать для SCSI транспортный протокол, оперирующий поверх TCP. В частности, он предусматривает новый механизм для передачи инкапсулированых в пакеты команд SCSI. Протокол iSCSI предполагает разработку нового поколения устройств, полностью отказываясь от Fibre Channel в пользу «чистого» TCP/IP.
• FCIP — основанный на TCP/IP туннельный протокол, позволяющий объединить географически разнесенные сети хранения, построенные по технологии Fibre Channel. Иногда его называют также Fibre Channel over TCP/IP. Данный подход ориентирован на объединение IP-сетями изолированных сетей хранения, построенных по технологии Fibre Channel. Таким образом, формируются сети хранения на уровне LAN, MAN или WAN. Как следует из названия, спецификация является сочетанием двух подходов; из трех вариантов это наименее радикальное решение. В нем необходимая функциональность распределена между Fibre Channel и TCP/IP.
• iFCP — основанный на TCP/IP протокол для объединения в сеть устройств или сетей, выполненных по технологии Fibre Channel, использующий инфраструктуру IP вместо коммутирующих и маршрутизирующих элементов Fibre Channel. Таким образом, образуется шлюз, который использует верхний уровень протокола Fibre Channel для SCSI и переносит его на TCP/IP. Таким образом, удается исключить коммутатор Fibre Channel и подключать существующие накопители Fibre Channel к IP-сети.

Каждая из подгрупп, входящих в состав SNIA IP Storage Forum, разрабатывает свой собственный стек протоколов под общим патронажем IETF. Членами форума являются свыше сорока компаний-участников SNIA.

SAN и SCSI

Сделаем попытку проследить взаимосвязь между протоколами для альтернативных реализаций сетей хранения и общим для них стандартом SCSI. При различии технических решений их объединяет спецификация архитектуры SCSI, разрабатываемая техническим комитетом T10. В FCIP, iFCP и iSCSI, как и в Fibre Channel, в конечном счете, на уровне устройства реализуется стандарт команд SCSI. Иногда по неведению SCSI противопоставляют сетевым технологиям хранения, при этом совершенно ошибочно путая параллельный вариант SCSI — с него все действительно начиналось — с дальнейшими версиями этого интерфейса.

В основном он поддерживается комитетом T10 (www.t10.org), который входит в состав Американского национального комитета по стандартизации ИТ (NCITS — National Committee on Information Technology Standards). T10 работает в тесном сотрудничестве с отраслевой ассоциацией SCSI Trade Association (www.scsita.org). За годы своего существования спецификация SCSI претерпела несколько редакций; на сегодняшний день актуальной является версия SCSI-3, построенная на принципах многоуровневой модели. Схема на рис. 1 представляет собой ее адаптацию к целям данного изложения, из нее исключены некоторые несущественные детали.

В своем нынешнем состоянии схема спецификации состоит из корня — архитектурной модели SCSI (SAM — SCSI Architecture Model) и четырех ветвей. Модель можно разделить на два уровня. За два года, прошедших с момента публикации [1], где архитектура SCSI описана более подробно, модель SAM претерпела некоторые небольшие изменения, но принципиальные положения сохранились.

Верхний уровень SAM, называемый CAM-3 (Common Access Method), в свою очередь делится на две части. Он состоит из общих для всех устройств наборов команд (SPC, SPC-2, SPC-3) и стоящих над ними наборов команд, специфичных для определенных типов устройств (например, с блочной записью, с потоковой записью, мультимедийных и т.д.). SAM не является чем-то жестко фиксированным, по мере появления новых типов устройств, она расширяется и пополняется.

Нижний уровень архитектурной модели SCSI состоит из спецификаций, соответствующих конкретной физической реализации интерфейса. Отметим следующие:

• группа SPI 1, 2,... 5, распространяющаяся на параллельные реализации (среди них SPI-3 — спецификация на Ultra 3 SCSI);
• SPB-2 — на интерфейс FireWire (IEEE 1394);
• FCP, FCP-2 — на оптические интерфейсы Fibre Channel;
• SSA — на последовательный интерфейс IBM SSA.

Из детализации, представленной на рис. 2, следует, что решения FCIP и iFCP уже по самому своему определению отличаются от iSCSI. Протокол iSCSI является вполне самостоятельной спецификацией, одной из семи существующих на сегодняшний день составляющих нижнего уровня архитектурной модели SCSI, в то время как FCIP и iFCP на самом деле суть альтернативные или дополняющие технологию Fibre Channel версии спецификации FCP, которая входит в число этих самых семи базисных спецификаций. Дело в том, что при выработке концепции SAN заранее изначально предполагалось, что сеть хранения не будет реализовываться исключительно средствами Fibre Channel; поэтому в ее основу была заложена многоуровневая модель, открывавшая возможность для альтернативных реализаций уровней, в частности, транспортного уровня. Появившиеся недавно протоколы FCIP и iFCP стали естественным развитием этой модели FCP. Вместе с ними на дереве появилась дополнительная ветвь. Они напрямую связаны с уровнем FC-4, т. е., если так можно сказать, «перехватывают» промежуточный уровень FC2 в модели FCP и «уводят» от Fibre Channel в IP. Этот механизм требует дополнительного пояснения.

Напомним, что Fibre Channel — просто полнодуплексный последовательный коммуникационный интерфейс. В названии использовано французское слово для обозначения оптоволокна. Тем самым подчеркивается, что собственно присутствие оптики вовсе и не обязательно, возможна и классическая медная реализация, а возможны и те варианты, о которых в данном случае идет речь. Модель FC можно разделить на пять уровней, начиная с самого нижнего FC-0 и до верхнего FC-4. Три первых уровня (0, 1 и 2) иногда объединяют общим названием Fibre Channel Physical (PC-PH). Прокомментируем распределение основных характеристик Fibre Channel по уровням.

• FC-0. Физические характеристики: используемые сигналы и носители, скорости передачи данных, конструкция разъемов, спецификация передатчиков и приемников. Выше этого уровня оптика не поднимается.
• FC-1. Управление связью и синхронизация передачи данных. На этом уровне решается одна из важнейших задач — преобразование параллельного байтового представления данных в последовательный поток бит — так называемое преобразование 8B/10.
• FC-2. Формат кадров, управление потоком данных, классы служб. На этом же уровне определены три основных типа топологий: «точка - точка», «петля с арбитражным доступом» и «коммутируемая структура».
• FC-3. Уровень общих служб, определяющий свойства портов, по которым узлы подключаются к сети. Этот уровень в настоящее время в наименьшей степени стандартизован, можно даже сказать — пока неизвестно, существует ли он.
• FC-4. Верхний уровень, определяющий отображение протоколов TCP/IP, ESCON, HPPI, SCSI и ATM на транспортную систему FCN.

Более подробно модель Fibre Channel описана в [2]. В 2001 году вышла, посвященная новым протоколам монография [3].

iSCSI

Наиболее детальное описание iSCSI можно найти в [4] и [5]. Использование протокола TCP/IP напрямую для блочного обмена данными между устройствами усложняется тем, что при решении этой задачи нужно объединить вместе две противоположные по своим изначальным свойствам среды. Среда SCSI по определению обеспечивает надежный и безопасный обмен информацией между устройствами хранения. TCP/IP, напротив, задуман для работы в ненадежных по своей природе сетях. Преодоление этого противоречия и составляет основную инженерную задачу, решаемую при создании iSCSI. В привычном параллельном варианте SCSI шинное подключение снимает вопросы о целостности данных и информационной безопасности. К тому же шина исключает и проблемы, связанные с установлением взаимодействия между участвующими в обмене данными устройствами. Совсем иные условия предполагает переход к сетям TCP/IP. Чтобы контролировать передачу данных по потенциально ненадежной сети, в iSCSI необходима избыточность, необходимо вместе с командами SCSI дополнительно передавать служебную информацию. Используя ее, оборудование, работающее по протоколу iSCSI, осуществляет мониторинг блочной передачи, корректность завершения операций ввода/вывода и обработку ошибок. Кроме того, возникает потребность в некоторой системе взаимодействия между устройствами посредством назначения им имен, чтобы устройства могли находить друг друга. Наконец, возникает и еще одна неожиданная задача: обеспечение безопасности.

Таким образом, технологию iSCSI можно свести к четырем базисным составляющим.

• Управление именами и адресами (iSCSI Address and Naming Conventions). В среде iSCSI, подчиняющейся стеку протоколов IP, действуют два типа устройств, которые называют инициаторами (iSCSI initiator) и целевыми устройствами (iSCSI target). В качестве первых чаще всего выступают компьютеры-серверы, а вторых — дисковые массивы или ленточные библиотеки. С точки зрения iSCSI инициатор — это клиент, а целевое устройство, обслуживающее его, — сервер. Собственно среду передачи образуют коммутаторы Gigabit Ethernet и/или маршрутизаторы IP. Подобно обычной реализации IP, подключенное к сети устройство автономно находит партнера для обмена данными и осуществляет подключение к нему. До сих пор нечего иного, чем адресная система, для этой цели человечество еще не придумало, следовательно, нужна адресная книга, и инициатор должен иметь к ней доступ. Книга содержит список IP-адресов целей, по ней инициатор может просматривать таблицу устройств типа DNS в сети. Работа с именами определена службой имен устройств хранения iSNS (Internet Storage Name Service). По соглашению (iSCSI naming convention) допускаются имена устройств с потенциальной длиной до 255 байт, но не все это имя iSCSI полностью используется для маршрутизации. Для маршрутизации разработана схема комбинированного использования IP-адреса и номера портов. Любое устройство идентифицируется как узел (iSCSI Node) внутри сетевой единицы (Network Entity), которая доступна из сети. Несколько узлов могут быть собраны в портал (Network Portal), которому назначается IP-адрес, а внутри устройства дифференцируются по номерам портов TCP. Но при этом устройство имеет еще и свое уникальное имя. В итоге получается довольно гибкая схема, которая позволяет изменять «конфирмацию» (т.е. при перемещении меняются IP-адрес и порт TCP), но остается возможность установления связи с устройством и сохранение изменившихся адресов. Имена iSCSI сохраняют читаемую форму, но для удобства работы операторов к тому же можно присваивать «клички» (alias name option).
• Управление сеансом (iSCSI Session Management). Сеанс iSCSI состоит из трех фаз. Она начинается с фазы iSCSI Login Phase, на которой специальной программой, обеспечивающей безопасность, проверяются аутентификационные параметры двух сетевых единиц и, если фаза прошла успешно, целевое устройство сообщает инициатору о своей готовности, иначе сеанс прерывается. Эта процедура в реальности может быть намного сложнее. За ней следует фаза нормального обмена транзакциями, называемая Full Feature. Завершается работа командой iSCSI.
• Обработка ошибок (iSCSI Error Handling). Для того чтобы обеспечить безошибочную передачу данных в условиях ненадежной среды, оба типа устройств — и инициатор, и целевое — имеют буфер, содержимое которого сохраняется до тех пор, пока не будет получено сообщение, подтверждающее успешное завершение транзакции.
• Обеспечение безопасности (iSCSI Security). Спецификация iSCSI допускает различные методы обеспечения безопасности. Шифрование, расположенное уровнем ниже iSCSI (такое как IPSec), будет прозрачным для верхних уровней. Сервер iSNS может использоваться в качестве репозитория для открытых ключей.

FCIP

Если бы удалось увеличить расстояния между отдельными фрагментами сетей Fibre Channel SAN, то появилась бы возможность решить целый ряд задач, в том числе создание резервных центров и возможность для эффективного использования ресурсами провайдеров услуг хранения (SSP — storage service provider). Такая форма услуги представляется очень разумной, поскольку позволяет пользоваться неограниченными по возможностям, высоконадежными и профессионально обслуживаемыми накопителями. Существует несколько теоретических возможностей для создания туннелей между отдельными фрагментами сетей хранения.

• Fibre Channel по DWDM (dence wavelength division multiplexing — «плотное волновое мультиплексирование») является приемлемым решением для асинхронных операций, в основном для зеркалирования в городских сетях, но отличается высокой стоимостью.
• Fibre Channel по SONET (Synchronous Optical NETwork) обладает примерно такими же характеристиками, как и Fibre Channel по DWDM.
• Fibre Channel по ATM в зависимости от класса обслуживания (ATM Class of Service — CoS) может использоваться для асинхронных и синхронных операций; также относится классу дорогих.
• Fibre Channel по IP (FCIP) признано наиболее удачным сочетанием технологий для обеспечения традиционных сетевых соединений для передачи данных и образования сетей хранения.

Сравнение технических характеристик различных способов передачи данных в контексте их использования для интеграции можно найти в [6].

FCIP интегрирует отдельные острова сети хранения средствами нижележащей глобальной сети по протоколу IP, таким образом удается не только расширить функциональные возможности и повысить экономическое значение существующих хранений, построенных по технологии Fibre Channel, но при этом еще и сохранить сделанные в них инвестиции. Для подключения SAN к WAN служит интерфейсный модуль, преобразующий кадры Fibre Channel в IP-пакеты и адреса Fibre Channel Fabric Domain в IP-адреса. Обычно эту функцию выполняет оптический маршрутизатор, стоящий на границе FC-IP. Таким образом, SAN «переходит» границу IP-сети без каких бы то ни было изменений в функционировании серверов, накопителей и других устройств и программ, работающих в пределах сети хранения. Очевидно, что это решение проще и дешевле других и может быть востребовано пользователями, уже имеющими определенный задел в SAN.

FCIP определен как туннелирующий протокол для прозрачного объединения географически разнесенных построенных по технологии Fibre Channel сетей хранения по IP-сетям. Он использует TCP/IP только в качестве транспорта, не затрагивая коммутацию, реализуемую Fibre Channel Fabric. Стандарт FCIP обеспечивает работу по IP под управлением средств, используемых в существующих сетях хранения. При разработке этого стандарта рабочая группа IETF IPS Working Group ставит перед собой следующие задачи [7]:

• определение правил инкапсуляции кадров Fibre Channel для их транспортировки по TCP/IP;
• определение правил инкапсулированных данных для установления виртуальных соединений Fibre Channel, связывающих устройства и коммутаторы Fibre Channel;
• определение правил для спецификации среды TCP/IP, поддерживающей виртуальные соединения Fibre Channel и обеспечивающей туннелирование трафика Fibre Channel по IP-сетям, включая обеспечение безопасности и целостности данных.

Для установления соединений между удаленными сетями хранения по локальным, территориальным и глобальным сетям FCIP использует соответствующие службы, но при этом, контролируя переполнение канала FCIP, опирается на TCP/IP, а в обработке ошибок в данных и восстановлении данных — на Fibre Channel.

В отличие от iSCSI в данном случае не приходится решать всего комплекса проблем, связанных с надежностью и безопасностью: они решаются стандартными средствами TCP/IP. Задача пользователя ограничивается выбором канала соответствующей пропускной способности (скажем, ОС-12 или ОС-48), а затем магистральные маршрутизаторы свяжут отдельные фрагменты в единую сеть. Важно, что средства управления, используемые в глобальных сетях, полностью и автоматически могут быть приложены к FCIP.

Можно выделить пять областей применения FCIP [8].

1. Объединение нескольких корпоративных сетей хранения в пределах, географически ограниченных размерами предприятия или учреждения (обычно такую область называют кампусом по примеру университетских городков). В какой-то момент существования корпоративной сети хранения перед специалистами с неизбежностью встает вопрос, как именно дальше развивать инфраструктуру — ограничиться технологией Fibre Channel или воспользоваться средствами FCIP. Часто последнее решение оказывается более оправданным экономически.

2. Ставшие в последнее время особенно востребованными решения, обеспечивающие резервирование информации и создание катастрофоустойчивых конфигураций.

3. Более эффективное распространение контента. По мере роста объемов передаваемых данных, особенно с появлением аудио- и видеоинформации, все более актуальной становится задача обмена информацией между теми инфрастрактурами, которые ее хранят, и потребителями — напрямую, без участия серверов. Это в некотором смысле реинкарнация на новом уровне одной из базисных идей SAN — обеспечить возможность взаимодействия между накопителями без вмешательства в этот процесс серверов.

4. Появление услуги хранения данных силами провайдеров SSP. По мере снижения стоимости дисков и других типов накопителей наиболее актуальными становятся задачи снижения стоимости управления системами хранения и их масштабирование, создание систем «памяти по запросу» (storage on demand). Технологии, предлагаемые провайдерами SSP, решают эти проблемы. Пользователи обращаются к дискам, расположенным в центрах хранения данных как к локальным, а провайдер осуществляет прозрачное для них управление ресурсами. Наращивание дискового пространства выполняется по мере необходимости, проявляемой приложениями, и тоже может быть вполне прозрачным для пользователя.

5. World Wide SAN. Как конечная цель развития сетей хранения может рассматриваться создание Всемирной сети хранения, некоторого аналога WWW, однако это вопрос еще неопределенного будущего.

iFCP

Спецификация [9] определяет iFCP как протокол межшлюзового соединения (gateway-to-gateway). Это соединение предназначено для замены матрицы Fibre Channel Fabric с ее маршрутизирующими и коммутирующими функциями своими собственными средствами на основе TCP/IP, которые способны выполнять по существу те же самые функции, но на другой технической основе. Важно, что, предоставляя аналогичные возможности, iFCP позволяет подключать к IP-сетям и существующие устройства, используемые в Fibre Channel, хотя при этом не используется технология обмена данными из Fibre Channel.

Для достижения совместимости iFCP поддерживает FCP, стандарт сериализации команд ANSI SCSI, необходимый для их передачи по последовательному интерфейсу, дисциплину обмена между инициатором и целевым устройством, принятую в SCSI при работе по последовательному соединению. По существу, iFCP замещает только транспортный уровень Fibre Channel (FC-2) сетью IP или Ethernet, но сохраняет верхний уровень (FC-4). Это достигается отображением существующей транспортной службы Fibre Channel на транспортную службу TCP/IP. В итоге известными средствами обеспечивается надежная передача данных по ненадежным сетям и безопасность информации, что составляет отдельную и одну из основных задач в iSCSI.

В этом заключается коренное различие между подходами iSCSI и iFCP. В первом случае для получения преимуществ, которые дает TCP/IP, нужно строить все сызнова, используя специализированные устройства, а во втором можно сохранить практически весь парк оборудования Fibre Channel. Заменяется собственно сеть на базе Fibre Channel на сеть TCP/IP. При этом одновременно решаются две задачи: организация обмена данными между устройствами и установление соединения типа SAN-to-SAN между существующими сетями хранения.

В качестве основного системообразующего элемента в iFCP выступает многопортовый шлюз с тремя типами портов:

• со стороны Fibre Channel (F-port для подключения отдельных устройств, например, дисковых массивов; FL-Port для подключения группы устройств, входящих в кольцо с арбитражным доступом; E-port для подключения непосредственно к коммутаторам Fibre Channel; универсальный порт Auto Port);
• со стороны IP (порт для подключения к оборудованию IP и Gigabit Ethernet; порт для агрегированного подключения к оборудованию IP и Gigabit Ethernet);
• два сервисных порта (Management Port для управления Java-устройствами; RS232 Console Port для рутинных задач управления, таких как назначение адресов, диагностика и т.п.).

Этот шлюз помимо физического соединения выполняет преобразование адресов из портов Fibre Channel в IP и обратно. Система имен устройств в Fibre Channel построена на основе Fibre Channel Generic Services (FC-GS); в IP ее эквивалентом является Internet Storage Name Service. В данном случае в репозитории этого сервера хранятся имена всех объектов, входящих в хранилище, построенное на основе iFCP, т.е. доменные имена, имена устройств Fibre Channel, портов, шлюзов и т.д. Совместно шлюзы и система адресации позволяют собирать сеть произвольной конфигурации.

Рис. 5. Шлюз iFCP

Литература

[1] Л. Черняк, SCSI-3 и Ultra 3 SCSI — не одно и то же. PC Week/RE, 1999, № 11
[2] Л. Черняк, Стандарты Fibre Channel — основа SAN. PC Week/RE, 2000, № 9
[3] Tom Clark, IP SANs, A Guide to iSCSI, iFCP and FCIP Protocols for Storage Area Networks. Addison-Wesley, 2001
[4] iSCSI Technical White Paper, www.snia.org/English/Collaterals/Forum_Docs/IP-_Storage/iSCSI_Technical_whitepaper.PDF
[5] Internet Storage Name Service (iSNS), http://www.ietf.org/internet-drafts/draft-ietf-ips-isns-06.txt
[6] Data Storage Anywhere, Any Time Metro and Wide Area Storage Networking, Nishan Systems, 2001
[7] The Emerging FCIP Standard for Storage Area Network Connectivity Across TCP/IP Networks, Storage Networking Industry Association (SNIA), 2001
[8] Robert Preece, Extending Storage Networking Over Optical IP Networks, Lucent Technologies, 2001
[9] Internet Fibre Channel Protocol (iFCP) — A Technical Overview, SNIA, 2001