Logo Море(!) аналитической информации!
IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware
Обучение от Mail.Ru Group.
Онлайн-университет
для программистов с
гарантией трудоустройства.
Набор открыт!

Оптика в центрах обработки данных

Выбор наиболее подходящего кабельного решения является определяющим фактором для реализации более совершенных коммуникационных технологий и расширения центров обработки данных.

В последнее время создается все больше центров обработки данных (ЦОД). Раньше в большинстве ЦОД (прежде всего в корпоративном секторе) использовались уникальные коммутационные решения. Правда, при этом существовала некоторая неразбериха в проектировании, что мешало построению полноценно функционирующей и масштабируемой кабельной инфраструктуры. Между тем кабельная инфраструктура должна была использоваться на протяжении долгого времени, а при необходимости – легко и быстро совершенствоваться. Это и обусловило распространение на ЦОД концепции структурированных кабельных систем, притом с учетом специфики ЦОД и особенностей размещения и использования оборудования.

Требования стандарта

Первый стандарт, определяющий унифицированный подход к проектированию ЦОД, – американский ANSI/TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centres. Положения этого стандарта в равной степени подходят для новостроек и перепрофилирования под ЦОД ранее построенных зданий. В этом недавно принятом стандарте определяются требования к организации разного рода инфраструктурных служб, которые могут оказывать взаимное влияние друг на друга. Среди таких служб – система бесперебойного электроснабжения, системы кондиционирования и вентиляции, системы пожарной сигнализации и пожаротушения, охранные системы, системы подвода внешних коммуникаций, центр управления сетью (Network Operations Centre – NOC), кабельная проводка и заземление.

Основные требования стандарта TIA-942 – "звездообразная" топология, в которой все сервисы подводятся к одной области основной разводки, реализация кабельных трасс с прокладкой магистралей высокой плотности и возможностью наращивания по мере надобности, формирование на стадии проектирования запаса площадей с учетом резервирования.

Итак, согласно одному из основных положений стандарта, основа функционирования всех инфраструктурных служб - высокая надежность и, соответственно, необходимый уровень резервирования. Важны также меры по обеспечению информационной безопасности и соблюдению техники безопасности. В соответствии со степенью реализации этих функциональных требований, центры обработки данных классифицируются по четырем уровням. Притом соответствие этим уровням определяется по принципу "слабого звена", то есть по характеристикам наихудшей из областей ЦОД.

Простейшие решения первого и второго уровней подойдут для небольших предприятий. Требования резервирования коммуникационных систем, энергоснабжения, кондиционирования и вентиляции для этих уровней - минимальны. Конечно, совсем другие требования для четвертого уровня - на нем необходимо осуществлять полное резервирование инфраструктурных служб, обеспечивая надежное электропитание, охлаждение, защиту оборудования и высочайшую пожаробезопасность.

От помещения - к зоне

Основное требование стандарта TIA-942 - сохранение топологии "звезда". В ЦОД должны обязательно выделяться помещения для подводки внешних телекоммуникационных систем (Entrance Room), компьютерного (Computer Room) и телекоммуникационного оборудования (Telecommunications Room). В помещении для компьютерного оборудования выделяются области основной разводки (Main Distribution Area - MDA), горизонтальной разводки (Horizontal Distribution Area - HDA), зоновой разводки (Zone Distribution Area - ZDA) и область разводки оборудования (Equipment Distribution Area - EDA). Горизонтальная и магистральная кабельные проводки позволяют применять разнообразные варианты коммутации и перехода с одного типа кабеля на другой, обеспечивая высокую эффективность и гибкость реализации соединений.

Точка входа

Помещения для подводки внешних телекоммуникационных систем - это "место стыка" структурированной кабельной системы центра обработки данных с внешним кабельным оборудованием, принадлежащим поставщикам телекоммуникационных услуг. Во многих ЦОД это помещение совмещается с комнатой для компьютерного оборудования. В пользу такой практики свидетельствует то, что длина соединительных кабельных трактов, простирающихся вплоть до области разводки оборудования, невелика и, соответственно, потери в линиях, составляющих эти тракты, будут низкими. Вместе с тем может оказаться, что из-за достаточно большой длины эти тракты будет невозможно реализовать медной проводкой или обычными многомодовыми волоконно-оптическими кабелями.


Для размещения магистральных кабелей в центре обработки данных нужно
предусмотреть достаточно места

Кабельные трассы должны быть спроектированы так, чтобы минимально препятствовать прохождению воздушных потоков, а также исключать возможное негативное влияние труб с охлажденной водой, на которых может собираться конденсат.

Что касается выбора среды передачи, то оптимальным (исходя из габаритов) является волоконно-оптический кабель. К тому же для медного кабеля, подводимого к MDA, в месте подключения к внешним телекоммуникационным сетям необходимо предусматривать защиту от перенапряжения. Такая защита не нужна оптическим кабелям для внутренней прокладки, поскольку они не содержат металлических конструктивных элементов.

В пользу волоконной оптики как лучшей среды передачи для ЦОД свидетельствует еще ряд фактов. Это, в частности, высокая пропускная способность, но и большая дальность связи, и невосприимчивость к электромагнитным помехам, и отсутствие необходимости в заземлении. Если исходить из пропускной способности и дальности связи, то оптическое решение получится значительно дешевле медного. В оптическом волокне любой категории можно осуществлять передачу данных со скоростью и 10 Мбит/с, и 10 Гбит/с. Волокно OM3 поддерживает передачу десятигигабитного трафика на расстоянии 300-550 м. Пропускная способность кабельного тракта в 10 Гбит/с становится минимальным требованием для центров обработки данных, причем на прохождение потоков данных с такой высокой скоростью не должно оказывать влияние достаточно большое число соединений в тракте.

Еще один плюс оптических кабелей - это экономия места, необходимого для размещения кабельных трактов, что очень важно для центра обработки данных. Например, необходимо реализовать магистральную проводку, в которой насчитывается 72 линии. Если это линии на "витой паре" шестой категории, то для укладки такой магистрали потребуется монтажная арматура, допускающая укладку пучка поперечным сечением около 50 см2. Если же речь идет о категории 6A, то потребность в пространстве увеличивается по меньшей мере втрое, чтобы исключить влияние межкабельных наводок. В случае использования оптического волокна сечение обычного кабеля с плотным буфером составляет примерно 6 см2, а плоского кабеля - всего лишь 3 см2. Таким образом, оптические кабели обеспечивают десяти - или даже двадцати кратную экономию места.

Главный распределитель

Область основной разводки является наиболее подходящим местом для установки маршрутизаторов и коммутаторов ядра локальной вычислительной сети центра обработки данных, а также систем хранения. Чем ближе эти устройства к коммутационному оборудованию MDA, тем меньшей длины кабели потребуются для их соединения с этим оборудованием.

К области основной разводки подводятся все оптические кабели, которые проходят по помещению для компьютерного оборудования. В этой области чаще всего используются напольные шкафы, в которых устанавливаются коммутационные панели и электроника. Наличие замков в таких шкафах позволяет контролировать доступ к оборудованию. Что касается потребности в отводе тепла, то уровень тепловыделения оборудования, размещаемого в MDA, намного ниже, чем у стоек с серверами, и зачастую достаточно пассивного охлаждения.


Выбор одномодового волокна и многомодового волокна OM3 определяется
работой с гигабитными и десятигигабитными коммуникационными технологиями

Существуют ограничения в отношении высоты шкафов и стоек. Их высота определяется с учетом удобства обслуживания, а также необходимости размещать над шкафами кабельные трассы.

Шкафы, как правило, заполняются коммутационными панелями высотой 4U. В ряде случаев оптимальным коммутационным решением для присоединения панелей являются так называемые подключения plug-and-play. Такие решения строятся на основе использования группового оптического разъема MPO или MTP, к которому в заводских условиях присоединяются двенадцать полушнуров. Оптические разъемы полушнуров устанавливаются в порты на лицевой части коммутационной панели. К этим же портам по мере необходимости подключаются коммутационные шнуры.

Конструкция, состоящая из группового разъема и нескольких полушнуров, получила название "упряжь" (harness) или "гидра". Бывают полушнуры из одного волокна с разъемами ST, SC или LC, а также из двух волокон с разъемом MT-RJ.

Зоновая разводка

Важный элемент горизонтальной кабельной подсистемы - область зоновой разводки. В нее входят дополнительные коммутационные пункты вблизи области разводки оборудования, то есть там, где необходимо часто проводить реконфигурацию кабельного оборудования и обеспечивать дополнительную гибкость в горизонтальных решениях. Оборудование, которое устанавливается в ZDA, может размещаться в шкафу или стойке. В этой зоне также могут использоваться небольшие (в том числе специализированные) конструктивы, которые монтируются на колоннах здания, располагаются под фальшполом или за подвесным потолком.

В случае обслуживания зоной большого количества портов для нее необходим шкаф или стойка. Если в обслуживаемой области немного портов, например, всего лишь шесть шкафов, то коммутационный пункт для нее целесообразно реализовывать на основе зоновых коробок, которые размещаются под фальшполом.

Именно в зоновой разводке наиболее ощутимы преимущества решений с коммутацией plug-and-play. Применяя групповые разъемы и "гидры", можно гораздо проще и быстрее наращивать системы, а также изменять плотность портов или тип разъемов в полушнурах. Более того, для выполнения этих действий не используется зоновая коробка.

Прохождение информационных потоков и выбор технологий

А теперь рассмотрим коммуникационные технологии, применяющиеся при построении кабельной инфраструктуры центров обработки данных. В частности, стандарт TIA-942 предполагает, что для типового ЦОД скорость 10 Гбит/с не является предельной, вскоре появятся более скоростные технологии. Пока же десятигигабитные участки реализуются в разных сегментах сетей ЦОД, притом довольно широко. Вместе с тем нельзя не учитывать поддержку активного оборудования, работающего с менее скоростными технологиями. Это оборудование для медных линий и, конечно, всевозможные вариации Fibre Channel.


При выборе типа волокна необходимо учитывать снижение дальности связи
для 10 Gigabit Ethernet, зависящее от числа соединений в тракте

Для Ethernet-соединений со скоростями 1 Гбит/с и 10 Гбит/с в ЛВС центра обработки данных может потребоваться довольно большая дальность связи. Поэтому стандарт рекомендует применять одномодовое волокно и многомодовое волокно категории ОМЗ. Такой выбор является оптимальным как в отношении достижимой дальности, так и в плане затрат.

Fibre Channel - это пример широкой поддержки невысоких скоростей вместе с переходом на новые варианты со скоростью 2 Гбит/с и 4 Гбит/с. Вместе с тем программа развития стандартов Fibre Channel в ближайшие десять лет предусматривает достижение скорости в 128 Гбит/с. Понятно, что для такой скорости выбор наиболее подходящей среды передачи имеет особое значение.

Потери накапливаются

Говоря о производительности среды передачи, необходимо обращать внимание и на иерархию соединений. В данном случае имеют место не соединения "точка-точка", а кабельные тракты, объединяющие области основной разводки, горизонтальной разводки и зоновой разводки. Эти тракты могут насчитывать больше соединений, чем тракты в обычной СКС. Даже для хорошо спроектированного центра обработки данных нормой является 4-6 соединений на обычных разъемах или соединений plug-and-play.

На первый взгляд кажется, что сформировать физическую инфраструктуру ЦОД в соответствии с TIA-942 можно с использованием любой среды передачи. Однако не все так просто.

Предположим, что максимальная длина тракта составляет 200 м. Оптические потери для длины волны 850 нм равны 3,5 дБ/км. Максимально допустимые потери на разъеме - 0,75 дБ как для обычных соединителей, так и для модулей plug-and-play, но в очень качественном исполнении. Исходя из этих значений, можно оценить бюджет потерь в тракте. Для четырех соединений он составляет 3,7 дБ ((0,75 дБ x 4) + (0,2 км * 3,5 дБ/км)), а это значение уже превышает предельно допустимую величину для 10 Gigabit Ethernet. При большем количестве соединений потери в тракте увеличатся. Наиболее эффективный вариант решения этой проблемы - использование оптического волокна OM3. С ростом числа соединений возможности этого волокна в плане реализации 10 Gigabit Ethernet сокращаются, а в случае использования обычного волокна OM2 реализация этой технологии практически невозможна. Вот почему волокно ОМЗ является оптимальным выбором для большинства ЦОД (за исключением крупных и очень крупных).


Физическое соединение в центре обработки данных, обеспечивающие подключение сетей
и систем хранения, может включать в себя большое количество соединений

Наличие в паспорте волокна результатов измерения дифференциальной модовой задержки, пересчитанной в эффективный модовый коэффициент широкополосности (Effective Modal Bandwidth - EMB) по методу EMBc, - это достоверное подтверждение качества физической среды. Исходя из полученных экспериментальным путем параметров волокна, можно определить изменение основных характеристик излучения от источника в ходе взаимодействия с модовой структурой волокна. В частности, подтверждается, что волокно обладает требуемым коэффициентом широкополосности, величина которого составляет 2000 МГцoкм.

Таким образом, реализация коммуникационных технологий в центре обработки данных может сдерживаться вследствие неправильного выбора типа оптического волокна. Из всех категорий многомодовых волокон рекомендуется использовать только OM3.

Классификация по принципу устранения слабых звеньев

Выбор кабельного решения и соответствующей монтажной арматуры во многом зависит от уровня ЦОД по стандартной классификации. Начинается классификация с базового (или начального) первого уровня. К нему следует относить ЦОД, на функционировании которых сказываются даже запланированные работы. Для этого уровня характерна установка двух стоек для размещения пассивного и активного оборудования. В кабельных системах таких центров обработки данных важную роль могут сыграть коммуникационные шнуры и горизонтальные кабели. Для ЦОД первого уровня показательным является отсутствие резервирования и наличие единых точек отказа, в том числе единого места подвода внешних телекоммуникационных сетей.

В центрах обработки данных второго уровня осуществляется резервирование компонентов по схеме N+1 (что, собственно, и определяет этот уровень). Начиная с этого уровня требуется более тщательное проектирование трасс внешних магистралей, а также развернутая маркировка соединительных шнуров. Коммуникационная среда может быть реализована в виде ячеистой или кольцевой сети, которая накладывается на физическую топологию "звезды", в соответствии с которой реализована кабельная система. В ЦОД второго уровня удельный вес затрат на приобретение компонентов для магистральных кабельных проводок существенно возрастает и превышает затраты на приобретение коммутационных шнуров.


Стандарт TIA/EIA 942 предусматривает обязательное выделение ряда
специализированных помещений

ЦОД третьего уровня определяются как одновременно обслуживаемые. Это означает, что обслуживание любого оборудования не приведет к остановке компьютерных систем. Для этого уровня необходимо наличие двух раздельных подводов внешних телекоммуникационных сетей, резервирование всех кабельных линий. Кроме того, оговаривается необходимость широкого применения баз данных, отображающих структуру кабельных линий и кабельных трасс.

К четвертому уровню относятся катастрофоустойчивые ЦОД. Следовательно, для этого уровня основными показателями являются резервирование и обеспечение максимальной защищенности применяемого оборудования. В частности, это магистральные оптические кабели с алюминиевым броневым покровом в виде гофротрубы (в таких гофротрубах прокладывают электрические кабели). Обязательно должны выделяться две области основной разводки и организовываться два подвода внешних телекоммуникационных сетей. Это гарантирует нормальное функционирование системы даже в случае, когда полностью разрушено несколько коммутационных областей.

Сети и телекоммуникации

Ваш комментарий

Имя:

Текст комментария (HTML-теги не допускаются):

Новости мира IT:

Архив новостей

Последние комментарии:

Релиз ядра Linux 4.14  (9)
Среда 22.11, 19:04
Loading

IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware

Информация для рекламодателей PR-акции, размещение рекламы — adv@citforum.ru,
тел. +7 985 1945361
Пресс-релизы — pr@citforum.ru
Обратная связь
Информация для авторов
Rambler's Top100 TopList liveinternet.ru: показано число просмотров за 24 часа, посетителей за 24 часа и за сегодня This Web server launched on February 24, 1997
Copyright © 1997-2000 CIT, © 2001-2015 CIT Forum
Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее...