Центр данных как объект стандартизации

Николай Силаков, СЕТИ и Телекоммуникации

Не секрет, что реализация современного центра данных требует значительных затрат. Поэтому зачастую остро встает вопрос оптимального функционирования оборудования и максимального соответствия применяемых решений тем задачам, которые ставятся перед ними. Стандартные подходы к проектированию центра и организации его кабельной системы могут в этом помочь.

Какие ассоциации вызывает словосочетание "центр данных"? Многие наверняка скажут, что это особо спроектированное и защищенное помещение, заставленное стойками с серверами и другим компьютерным оборудованием. Кто-то вспомнит вычислительные центры вузов во времена, предшествующие появлению ПК. Туда спешили студенты преимущественно инженерных (не говоря об ИТ) специальностей, ведь в течение перерыва между парами надо было успеть отдать задание на набивку перфократ или сдать увесистую колоду перфокарт на счет.

Выполнением подобных задач занимались люди в белых халатах, обслуживающие вычислительную технику. Эти же люди при помощи таких же вычислительных систем по всему миру принимали участие в решении любых вычислительных задач, от учета урожаев до моделирования космических полетов.

Современные центры данных, или центры обработки данных, – data center – являются прямыми наследниками вычислительных центров шестидесятых восьмидесятых годов прошлого века, а вовсе не представляют некую новую концепцию. Только на смену устаревшим мейнфреймам и сопутствующей им периферии пришли высокопроизводительные серверы и системы хранения, поддерживающие связь на гигабитных скоростях.

Центры данных по ранжиру

Одним из наиболее сложных моментов в проектировании центра данных является определение особенностей оснащения технологических помещений, а также обустройство прилегающей к ним территории. Здесь приходится решать задачи взаимосвязанной работы ИТ-специалистов и специалистов ифраструктурных служб и разрабатывать оптимальное решение центра данных применительно к его использованию. Все это должно определяться на основании определенной бизнес модели функционирования центра данных и особенностей технических решений, применяемых в нем.

Так, в плане организации различают два типа центров данных. К первому типу относятся частные (или корпоративные) центры данных, которые удовлетворяют "вычислительные" нужды исключительно конкретной компании. Второй тип – это центры данных общего пользования, которые зачастую принадлежат поставщикам интернет услуг и используются для реализации таких сервисов, как вэб-хостинг, коллокация, аренда приложений, развертывание электронной коммерции и др. Естественно, требования, предъявляемые к центру данных для поставщика услуг интернета, будут отличаться от требований к частному центру, которые, кстати, могут оказаться более жесткими, что характерно для компаний из финансовой сферы.

Классификацию на основе технических решений в свое время предложили специалисты из Uptime Institute. Эта организация из города Санта Фе (США) занимается анализом нарушений в работе оборудования центров данных и предлагает рекомендации по обеспечению его бесперебойного функционирования. На протяжении многих лет там велась разработка системы, дифференцирующей инфраструктурные решения для центров данных. Эта система стала универсальным стандартом классификации центров данных. Основу ее составляет аттестация центров данных в соответствии с определенными уровнями (Tiers). Номер уровня определяется особенностями функционирования размещаемого в центре данных оборудования, и в частности величиной эксплуатационной готовности. Для первого уровня значение этой величины должно быть не меньше 99,67%, а для четвертого уровня оно превышает 99,99%. В идеале эксплуатационная готовность четвертого уровня должна приближаться к знаменитым "пяти девяткам" (99,999%), которые определяют особенности функционирования оборудования телекоммуникационных операторов.

Что касается развития подходов к реализации центров данных с течением времени, то их можно сгруппировать в четыре четко выраженных исторических этапа. При этом технические требования, выдвигавшиеся на определенном этапе, легли в основу спецификаций соответствующего уровня. Так, первому уровню отвечают решения, используемые в шестидесятых годах прошлого века, второму – в семидесятых, третьему – в конце восьмидесятых и начале девяностых.

Последний, четвертый, уровень восходит к 1994 году. Тогда при реализации проекта центра данных для службы доставки UPS в городе Уиндварде впервые было предложено использовать две независимых системы электропитания.

Практика использования по меньшей мере двух независимых систем электропитания должна в скором времени стать обязательной для построения инфраструктуры в любой мало мальски значимой информационной системе (что должно учитываться в решениях, предлагаемых поставщиками компьютерных систем).

Согласно результатам исследований, проводившихся Uptime Institute в ходе разработки концепций уровня III и уровня IV, до 95% отказов в системе электропитания происходит на участке между источником бесперебойного питания и обслуживаемым им оборудованием. Наличие нескольких независимых систем позволяет решить проблему единой точки отказа в электропитании, за счет чего существенно повышается эксплуатационная готовность всей системы.

Табель о рангах

Функционирование центра данных, соответствующего уровню I, предопределяет возможность как внеплановых простоев по причине отказов, так и запланированных перерывов в работе на техническое обслуживание. Допускается суммарная длительность простоев немногим больше суток за год.

Рис. 1 Характеристики уровней в соответствии с классификацией Uptime Institute

У таких центров, несмотря на наличие источника бесперебойного электропитания и даже аварийного генератора, существует единая точка отказа по питанию, а проведение регламентных или ремонтных работ требует полного вывода из эксплуатации всей инфраструктуры. Поэтому внештатные ситуации являются причиной довольно длительных простоев. Причем возникновение таких ситуаций в равной мере определяется проявлением случайных факторов и ограниченными возможностями предотвращения действия этих факторов.

В состав оборудования центров данных уровня II входят резервные комплекты, что позволяет существенно сократить простои по причине внештатных ситуаций, равно как и плановые перерывы в работе на техническое обслуживание. Резервирование осуществляется по схеме N+1, но также, как и для предыдущего уровня, уязвимым местом являются активные подводы в системах электропитания и вентиляции (ведь их тоже по одному).

Центры данных уровня III допускают проведение любых запланированных действий по техническому обслуживанию без прерывания работы компьютерного оборудования. Отсюда и некоторые особенности проектирования подобных центров. Так, для больших центров данных, в которых используется водяное охлаждение, должно предусматриваться дублирование трубопроводов.

К тому же сейчас центры уровня III проектируются с учетом возможности последующей модификации до уровня IV.

Функциональные возможности инфраструктуры центра данных уровня IV, наряду с выполнением технического обслуживания без прекращения работы компьютерного оборудования, предполагают достижение максимальных показателей эксплуатационной готовности. Инфраструктурные решения в таком проекте должны сохранять работоспособность при самых неблагоприятных обстоятельствах, которые могут сложиться при возникновении внештатной ситуации. Для этого требуется наличие в каждой системе нескольких активных каналов или даже резервирование типа "система +система".

Инфраструктура центра данных четвертого уровня является оптимальной рабочей средой для высоконадежных ИТ-приложений, таких как кластерные вычислительные системы, системы хранения, отказоустойчивые компьютерные сети. Вместе с тем показатель эксплуатационной готовности этого уровня все еще отличается от "пяти девяток". Лучшие проекты уровня IV обеспечивают эксплуатационную готовность на уровне 99,995%. Причем речь идет об эксплуатационной готовности техники без учета человеческого фактора, то есть здесь не принимаются во внимание просчеты проектировщиков, неудачные управленческие решения и ошибки технического персонала. На это специалисты из Uptime Institute обращают особое внимание. Они также подчеркивают, что из всех центров данных, за последние пять лет претендовавших на IV уровень, только 10% реально соответствуют требованиямэтого уровня.

Стандартизация инфраструктуры

Необходимость размещения сотен, а порой и тысяч единиц вычислительного оборудования и другой техники, особенности организации инфраструктурных решений требуют определения единого подхода к проектированию центра данных, планированию расположения оборудования, выбору сетевых решений и реализации структурированной кабельной системы. Ассоциация телекоммуникационных специалистов США (Telecommunications Industry Association), основной разработчик стандартов для телекоммуникаций в Северной Америке, большая часть документов которого котируется по всему миру, признала потребность в выработке такого многопрофильного подхода, который бы позволил объединить работы архитекторов, строителей и ИТ-специалистов и гарантировал бы координацию их деятельности в ходе реализации проекта центра данных.

Для разработки подобного подхода, а также для формулирования и закрепления его в соответствующих документах была создана рабочая группа TR 42.1.1. Она предложила проект стандарта TIA/EIA 942, полное название которого звучит как "Телекоммуникационная инфраструктура для центров данных". Его окончательный вариант TIA намерена представить в начале 2005 года.

Отправным моментом в разработке данного документа является необходимость обеспечения высокого уровня эксплуатационной готовности и наличия множественных запросов, поступающих от большого числа пользователей. Поэтому существенной является взаимосвязанность требований стандарта и спецификаций уровней центров данных согласно классификации Uptime Institute. Стандарт содержит ряд требований к строительным конструкциям, размерам помещений, размещению оборудования, электропитанию, кондиционированию и вентиляции и др.

В соответствии со стандартом TIA/EIA 942 центр данных определяется как отдельное здание или часть здания, в котором будет размещаться компьютерное оборудование коллективного пользования, а также инфраструктурные решения, обслуживающие данное оборудование. Компьютерное оборудование сосредотачивается в особом помещении, специально предусмотренном для этого.

Стандарт TIA/EIA 942 определяет общие требования к размерам и размещению центра данных;архитектурным особенностям и функциональному назначению помещений в соответствии со структурой служб центра данных, включая особенности отделки полов и стен; электроснабжению, заземлению и механическим системам; кабельной инфраструктуре и ее администрированию;охранным системам и системам пожарной безопасности, а также решениям доступа к телекоммуникационным сетям общего пользования.

В ряде требований, предъявляемых к помещениям для компьютерного оборудования, а также к помещениям для подводки внешних телекоммуникационных систем, помимо таких характеристик, как высота потолков (не менее 2,5 м) , удельная нагрузка на пол (минимум 600 кг на 1 м² , рекомендуется 1000 кг на 1 м² ) , климатические условия (температура от +20 °С до +25 °С) и относительная влажность воздуха (от 40% до 55%) , содержатся особые требования, например, по размещению светильников и головок спринклерной системы пожаротушения не непосредственно над стойками, а над свободным пространством между ними.

Помещение центра данных

Стандарт TIA/EIA 942 предусматривает обязательное выделение помещений для подводки внешних телекоммуникационных систем (Entrance Room) , компьютерного оборудования (Computer Room) и телекоммуникационного оборудования (Telecommunications Room). В помещении для компьютерного оборудования выделяются области основной разводки (Main Distribution Area, MDA), горизонтальной разводки (Horizontal Distribution Area, HDA), зоновой разводки (Zone Distribution Area, ZDA) и область разводки по оборудованию (Equipment Distribution Area, EDA).

В помещениях для подводки внешних телекоммуникационных систем располагаются интерфейсы структурированной кабельной системы центра данных с магистралями группы зданий, а также с кабельным оборудованием поставщиков телекоммуникационных услуг. Это может быть отдельное помещение, но также допускается его объединение с MDA в помещении для компьютерного оборудования. В центре данных может насчитываться несколько помещений для подводки внешних телекоммуникационных систем, что позволяет соблюдать ограничения на длину линий связи, а также реализовывать обслуживание разных подразделений.

Для мониторинга и управления центром данных (особенно в центрах, которые обеспечивают выполнение ответственных задач) организуется центр текущего управления сетью (Network Operations Center, NOC). Функционирование такого центра заключается в определении имеющихся неисправностей и выработке начальных управляющих воздействий, исключающих такие последствия, как возможный простой компьютерного оборудования. В NOC размещаются технические средства, которые, в частности, осуществляют мониторинг теплового режима, отслеживают остановки и сбои в работе оборудования с последующей диагностикой на предмет обнаружения модулей и блоков, которые вышли из строя.

Области разводки

Согласно требованиям стандарта TIA/EIA 942, в любом центре данных должна организовываться по меньшей мере одна область основной разводки, причем при ее размещении необходимо учитывать дополнительную площадь для установки резервного оборудования. MDA – это прежде всего основной распределительный пункт кабельной системы центра данных. Кроме того, в эту область могут интегрироваться распределительные пункты горизонтальной разводки, обслуживающие оборудование в непосредственной близости от MDA. Что касается активного оборудования, то MDA является наиболее подходящим местом для установки маршрутизаторов и коммутаторов ядра локальной вычислительной сети центра данных и сети хранения.

Области горизонтальной разводки выделяются под реализацию распределительных пунктов горизонтальной подсистемы, кабельные линии которой доходят до области разводки по оборудованию. Поэтому HDA рассматривается как место размещения коммутаторов локальной вычислительной сети и сети хранения, а также KVM-коммутаторов (позволяющих управлятьнесколькими серверами посредством одного комплекта "клавиатура видео мышь"), обслуживающих оборудование в соответствующих EDA.

Кроме того, в горизонтальной кабельной подсистеме могут присутствовать дополнительные коммутационные пункты зонового кабельного оборудования, которым соответствуют области зоновой разводки. Эти необязательные элементы размещаются между HDA и EDA, там, где необходимо часто проводить реконфигурацию кабельного оборудования, или же используются как средство обеспечения дополнительной гибкости в горизонтальных решениях. Горизонтальные кабели, которые подходят к ZDA, оконечиваются в зоновой розетке или точке консолидации. Дальнейшая разводка от зоновой розетки осуществляется с помощью коммутационных шнуров.

В области зоновой разводки не рекомендуется устанавливать активное оборудование, за исключением решений по организации электропитания по витой паре.

В области EDA осуществляются сетевые подключения, необходимые для компьютерного оборудования. Розетки EDA рекомендуется реализовывать в виде патч панелей, устанавливаемых в стойках с оборудованием. Стандарт допускает наличие активного оборудования, которое подключается непосредственно к сетевым устройствам (как, например, серверы и коммутаторы, или серверы и периферия).

В дополнение к помещениям для установки компьютерного оборудования в здании центра данных могут выделяться помещения для размещения офисных и вспомогательных служб, таких как центры обслуживания клиентов или службы подготовки ввода данных. В частности, к числу таких помещений относятся коммутационные пункты горизонтальной проводки для офисных и вспомогательных служб, электрощитовые, производственные помещения систем кондиционирования и вентиляции и т. п.

Организация кабельной проводки

Кабельное оборудование центра данных составляют горизонтальная проводка, магистральная проводка и коммутационное оборудование в соответствующих областях.

Реализация горизонтальной и магистральной проводок согласно стандарту TIA/EIA 942 осуществляется по неизменному для СКС принципу иерархической "звезды", причем допускается только один уровень иерархии в магистральной проводке. Соответственно, в магистральной проводке должен быть только один распределительный пункт.

Также стандартом предусматривается возможность резервирования разводки. Для этого вводится область вторичной разводки, коммутационный пункт которой соединяется с распределительными пунктами горизонтальной разводки, дублируя соединения с областью основной разводки.

Допускаются дополнительные соединения между HDA (в том числе и с целью резервирования) или соединения с кабельным оборудованием помещений для подводки внешних телекоммуни кационных систем (когда выделяется несколько таких помещений).

Что касается среды передачи, то стандарт TIA/EIA 942 предусматривает использование нескольких типов кабеля, предполагая максимальную гибкость в реализации кабельной проводки. К традиционно признанным в СКС витой паре, одномодовому и многомодовому волокну добавляется коаксиальный кабель с волновым сопротивлением 75 Ом. Обеспечение технологического долголетия решений, предлагаемых во вновь разрабатываемых проектах, должно выполняться за счет применения рекомендуемых типов кабеля.

Все компьютерное и коммутационное оборудование размещается в монтажных шкафах и стойках. Кабель, соединяющий стойки, должен укладываться в эксплуатационных полах (фальш-полах) или размещаться в арматуре, устанавливаемой в промежутках между рядами стоек или же подвешенной над стойками. Эта арматура может использоваться для обеспечения оптимального заполнения кабелями в системе фальш-полов. Арматура должна образовы вать два или три уровня, один из которых предназначается для силовой проводки, а остальные – для телекоммуникационных кабелей.

Рекомендуется использование съемных полов, так как они позволяют подводить максимальное количество кабелей при меньшем числе изгибов и не препятствуют распространению воздушных потоков. Телекоммуникационные кабели в пространствах под фальш-полами должны непременно укладываться в кабельные лотки.

Замыкая круг

В целом, стандартизация решений для центров данных является окончательным признанием того, что информация в современном бизнесе является существенным активом, эффективность использования которого определяется инвестированием в обеспечение доступности, надежности и безопасности информации. А рассмотренные документы предлагают пути повышения максимальной отдачи от подобных вложений.

Также следует обратить внимание на то, что произошел полный цикл в организации компьютерных вычислений. Их централизованное выполнение на больших ЭВМ сменила децентрализация, связанная с ПК. Сейчас наблюдается тенденция к централизации. И стандартизация инфраструктурных решений для центров данных, с одной стороны, является проявлением этой тенденции, а с другой – выступает фактором, стимулирующим ее развитие.

Таким образом, предлагаемые документы определяют согласованный подход к реализации центров, в которых должны сосредотачиваться наиболее критичные вычисления, а также предусматривают требования и спецификации для построения инфраструктуры этих центров, которая бы стала залогом их длительного и эффективного функционирования.

Основные опредления

В системе классификации по уровням используются некоторые определения. Например, проект считается отказоустойчивым, если в нем обеспечивается возможность сохранения работоспособности при наличии хотя бы одного выхода из строя в каком-то из инфраструктурных решений. Проект, в котором возможно проведение плановых работ по техническому обслуживанию без нарушения работы системы, определяется как допускающий одновременную эксплуатацию и техническое обслуживание (причем для таких проектов характерными являются несколько менее высокие показатели отказоустойчивости).

К запланированным относятся предусмотренные заранее работы, процедуры проведения которых четко определены. Это могут быть всевозможные проверки, настройки, регламентные работы, тестирование систем и входящих в них компонентов.

Понятия отказоустойчивости и одновременного обслуживания – это не просто отвлеченные характеристики работы центра данных. Функционирование каждого из них обеспечивают не менее десятка инфраструктурных решений, в том числе системы электропитания, вентиляции и кондиционирования, пожарной и охранной сигнализации и многое другое.

В идеале все они должны предполагать выполнение технического обслуживания без прекращения работы компьютерного оборудования, а высокая отказоустойчивость – это характеристика, необходимая как для каждой системы в отдельности, так и для всего проекта в целом.