Будущее технологии Grid зависит от развития стандартов

Сергей Кузнецов

Обзор апрельского, 2005 г. номера журнала Computer (IEEE Computer Society, V. 38, No 4, April 2005)

Авторская редакция.
Также обзор опубликован в журнале "Открытые системы"

Тема апрельского номера – "За пределами Internet" ("Beyond Internet"). К подготовке номера не привлекались приглашенные редакторы, и тематическая подборка состоит всего из двух статей, но они кажутся достаточно интересными, чтобы начать обзор именно с них.

Первая статья называется "Преодоление тупика Internet с помощью виртуализации" ("Overcoming the Internet Impasse through Virtualization"). Авторы статьи – Томас Андерсон, Ларри Петерсон, Скотт Шенкер и Джонотан Тернер (Thomas Anderson, University of Washington, Larry Peterson, Princeton University, Scott Shenker, University of California, Berkeley, Jonathan Turner, Washington University). Достоинства архитектуры Internet, разработанной более 30 лет тому назад, обоснованы разнообразными поддерживаемыми ею приложениями и большим числом основанных на ней сетевых технологий. Тем не менее, возрастающая распространенность Internet порождает ряд проблем, для решения которых текущая архитектура Сети не приспособлена. Хотя исследователи и разработчики демонстрируют растущий интерес к новым архитектурам, которые могли бы быть пригодны для решения этих проблем, перспективы существенного изменения существующей архитектуры остаются незначительными. Кроме внесения требуемых изменений в программное обеспечение маршрутизаторов и хостов, для внедрения архитектурных изменений требуется общее согласие множества поставщиков услуг Internet (ISP). Потребность к консенсусе является вдвойне гибельной: достижение согласия между множеством провайдеров затруднительно само по себе, но, кроме того, попытки добиться такого согласия устраняют все конкурентные преимущества от архитектурных инноваций. До наступления неизбежного краха Internet трудно надеяться на изменения, затрагивающие базовую архитектуру Сети. Более того, ситуация продолжает ухудшаться. Невозможность адаптироваться к новым требованиям приводит к появлению возрастающего числа частных решений, во многих из которых нарушается каноническая архитектура Internet. Осмеиваемые архитектурными пуристами, эти модификации обычно возникают для удовлетворения естественных потребностей, не обеспечиваемых самой архитектурой. Эти уродливые архитектурные "наросты" могут отвечать кратковременным целям, но они существенно ухудшают долговременные гибкость, надежность и управляемость Internet. Пугающие барьеры на пути внедрения новых архитектур не способствуют, но и не препятствуют напрямую дальнейшим исследованиям. Продолжают появляться архитектурные новшества. Более проблематичным является проведение реальных экспериментов с новыми архитектурами. Для этого в основном используются испытательные стенды. Однако у традиционных испытательных стендов имеется несколько ограничений. Авторы выдвигают три основных требования, выполнение которых должно способствовать развитию новых архитектур: (1) у исследователей должна иметься возможность экспериментирования с новыми архитектурами на реальном трафике; (2) должен иметься приемлемый путь к практическому внедрению проверенных архитектурных идей; (3) вместо того, чтобы концентрироваться на единственной узкой проблеме, предлагаемые решения должны быть достаточно всесторонними, чтобы охватывать широкий спектр архитектурных проблем, стоящих перед Internet. Для удовлетворения этих требований авторы предлагают концепцию виртуального испытательного стенда, на котором одновременно может поддерживаться несколько архитектур, обеспечивающих все коммуникационные потребности клиентов и серверов. Подход виртуального испытательного стенда обеспечивает путь для одностороннего и глобального внедрения новых архитектур. Поскольку для применения этого подхода не требуется всестороннее согласие по поводу архитектуры, он предоставляет более приемлемый сценарий для внедрения радикально новых архитектурных решений, затрагивающих набор проблем, стоящих перед Internet. Прототип виртуального испытательного стенда разработан в рамках проекта PlanetLab (www.planet-lab.org).

Вторая статья тематической подборки написана Марком Бейкером, Эми Эпон, Клейтоном Фернером и Джеффом Брауном (Mark Baker, University of Portsmouth, Amy Apon, University of Arkansas, Clayton Ferner, Jeff Brown, University of North Carolina at Washington). Статья обещающе называется "Появляющиеся стандарты Grid" ("Emerging Grid Standards"). В последние несколько лет технология Grid эволюционировала от тщательно сконфигурированной инфраструктуры, которая поддерживала выполнение ограниченного числа приложений категории Grant Challenge на высокопроизводительной аппаратуре, до динамической среды, развитие которой направляется международным сообществом. По мере становления технологии Grid реальностью в процесс ее развития все более вовлекается индустрия. Участие коммерческих ускоряет разработку надежного программного обеспечения, поддерживающего среды Grid за пределами академических лабораторий. В свою очередь, это влияет как на архитектуру Grid, так и связанные с ней  протоколы и стандарты. Принесшее существенную пользу приспособление к архитектуре Grid технологии Web-сервисов, привело к появлению несколько фрагментированной среде разработки. Разработчики программного обеспечения и Grid-сервисов добиваются соответствия соглашениям и стандартам, широко распространенным в их сообществе. Однако по различным политическим и техническим причинам имеется несколько соперничающих точек зрения относительно того, как следует реализовывать архитектуру, и на какие стандарты нужно опираться. Это соперничество тормозит разработчиков программного обеспечения Grid, поскольку они не уверены, что будущие стандарты будут включать те, что используются сегодня. Основной организацией по стандартизации Grid является Global Grid Forum (GGF, www.ggf.org). Кроме того, работы по стандартизации ведутся в Organization for the Advancement of Structured Information Standards (OASIS, www.oasis.org), World Wide Consortium (W3C, www.w3c.org), Distributed Management Task Force (DMTF, www.dmtf.prg), Web Services Interoperability Organization (WS-I, www.ws-i.org), Internet2 (www.internet2.edu) и Liberty Alliance (www.projectliberty.org). Наиболее важным стандартом, призванным определить общую, стандартную и открытую архитектуру Grid, является стандарт Open Grid Services Architecture (OGSA), развиваемый GGF. В марте 2004 г. была выпущена первая версия стандарта (OGSA 1.0), а в июне 2005 г. ожидается выход второй версии стандарта. OGSA представляет собой сервис-ориентированную архитектуру, в которой специфицируется набор распределенных вычислительных паттернов, реализуемых с использованием Web-сервисов. Стандарт предназначается для определения всех основных сервисов, которые могут использоваться в приложениях e-business или e-science, включая управление работами и ресурсами, коммуникации и безопасность. Работа по спецификации интерфейсов сервисов, семантики, протоколов и других технических деталей предоставлена разным рабочим группам внутри GGF и другим организациям по стандартизации Grid. Первая конкретизация OGSA была осуществлена в документе Open Grid Services Infrastructure (OGSI), выпущенном в июле 2003 г. Этот документ базировался на понятии Grid-сервиса, расширении Web-сервиса, в котором обеспечивался стандартный набор механизмов для управления состоянием. В OGSI 1.0 определяется набор принципов и расширений для использования WSDL и XML Schema при организации Web-сервисов с поддержкой состояния. Критики OGSI отмечали ряд проблем в этом стандарте: слишком большой объем; потребность в расширении стандартного WSDL; слишком сильная объектная ориентированность. Это привело к возникновению движения по определению альтернативной инфрастуктуры Grid, основанной на чистых спецификациях Web-сервисов. 20 января 2004 г. HP, IBM, Fujitsu и Globus Alliance объявили о выпуске WS-Resource Framework (WSRF, www.globus.org/wsrf). Этот документ состоит из набора спецификаций для выражения связи между ресурсами, обладающими состояниями, и Web-сервисами. В спецификациях определяются конкретные форматы сообщений и связанные определения на XML. Окончательные результаты были переданы двум новым техническим комитетам OASIS: WS-Resource Framework (WSRF) TC и WS-Notification (WSN) TC. WSRF TC отвечает за стандартизацию спецификаций WS-Resource Lifetime (определяются способы управления жизненным циклом ресурса и специфицируются Web-сервисы для ликвидации ресурса); WS-Resource Properties (определяются способы запрашивания и модификации ресурсов, описываемых XML-документами Resource Property); WS-ServiceGroup (определяются способы представления и управления коллекциями Web-сервисов и/или WS-ресурсами); WS-BaseFaults (определяется базовый XML-тип, используемый при обмене сообщениями в Web-сервисах для информирования о сбоях). WSN TC занимается стандартизацией трех спецификаций, относящихся к интерфейсам Web-сервисов: WS-BaseNotification (асинхронное оповещение, включая интерфейсы производителя и потребителя); WS-BrokeredNotificatiion (асинхронное оповещение); WS-Topics (организация и категоризация тем для подписки). Некоторые организации, ведущие или планирующие Grid-проекты, не могут дожидаться принятия OGSA v20 и завершения работ над WARF и пользуются альтернативными спецификациями, включающими Basic Profile (BP1.0) от WS-I, Web Services Grid Application Framework (WS-GAF, North-East Regional e-Science Centre, www.neresc.ac.uk/ws-gaf) и WS-I+ (Open Middleware Infrastructure Institute, www.omii.ac.uk). Спецификация BP1.0 была опубликована в апреде 2004 г. и содержала руководства по использованию SOAP. WSDL и UDDI. В WS-GAF предлагается подход, отличный от OGSI, к расширению функциональности Web-сервисов для удовлетворения потребностей Grid-приложений. В WS-I+ указываются существующие стандарты, которые являются потенциально совместимыми с развивающимися стандартами Grid. Фактическим стандартом безопасности в Grid является Grid Security Infrastructure (GSI, http://forge.gridforum.org/projects/gsi-wg). В двух новых проектах исследуются альтернативные решения, которые могут повлиять на стандарты GSI. В проектах GridShib (http://grid.ncsa.uiuc.edu/GridShib) и ESP-GRID (http://e-science.ox.ac.uk/oesc/projects) будут созданы новые механизмы и стратегии распределенной аутентификации, позволяющие виртуальным организациям в Grid интегрироваться с традиционной инфраструктурой корпоративной безопасности. В заключение статьи авторы отмечают, что разработка OGSA и WSRF демонстрирует сотрудничество исследователей из индустрии, академии и правительственных организаций. Эти объединенные усилия позволяют надеяться на счастливое будущее Grid, несмотря на существующие сегодня проблемы неопределенности, несогласованности и отсутствия интероперабельности.

В нетематической части номера три статьи. Хай Жуг (Hai Zhuge, Institute of Computing Technology, Chinese Academy of Sciences) представил статью "Будущая среда взаимосвязи" ("The Future Interconnection Environment"). Профессор Хай Жуг является основателем China Knowledge Grid Research Group (http://rg.ict.ac.cn), и статья отражает точку зрения китайской части сообщества искусственного интеллекта (ИИ) на будущее мирового компьютинга. Как считает автор, будущая среда взаимосвязи должна включать технологии ИИ и распределенных систем, наследовать преимущества технологий Web, Semantic Web, Grid и P2P и расширять их сферу применимости на основе новых принципов. К принципам организации новой среды взаимосвязи автор относит открытость, инкрементальную разработку, экономичность, экологичность, конкуренцию и кооперацию, динамическое масштабирование, целостность и простоту. Формулируется ряд проблем, которые требуется решить для построения новой среды. Среди этих проблем (все их указывается тринадцать) наиболее важными (и понятными) являются следующие: реорганизация изменчивых ресурсов (требуется новая теория для организации ресурсов в семантически развитых формах и их использования при наличии ограничений целостности); согласование нормализации и самоорганизации (нормализация организации ресурсов обеспечивает правильность их использования; самоорганизация гарантирует автономию, равноправие и приспосабливаемость при управлении ресурсами; один из возможных подходов к согласованию этих свойств состоит в том, чтобы накладывать нормализованную структуру на более высоких уровнях представления ресурсов, допуская самоорганизацию на низких уровнях); семантическая взаимосвязь (требуется построить вычислительную модель, применимую как к явной семантике, так и к подразумеваемой семантике, относящейся к восприятию и ощущениям); и т.д. China Knowledge Grid Research Group разрабатывает e-Science Knowledge Grid Environment как экспериментальный микрокосм будущей среды взаимосвязи. Эта развивающаяся, динамическая, самоорганизующаяся, самоуправляемая, масштабируемая система разрабатывается для поддержки разнообразных распределенных и интеллектуальных сервисов. Приводится очень краткое и не слишком понятное описание архитектуры системы. Немного более понятный текст представлен автором в статье "China’s E-Science Knowledge Grid Environment" (IEEE Intelligent Systems, Vol. 19, No. 1). Статья также свободно доступна на http://kg.ict.ac.cn/paper/IEEE-IS-China-eScience.pdf.

Статью "Масштабирование сетевых сервисов с использованием программируемых сетевых устройств" ("Scaling Network Services Using Programmable Network Devices") написали Христоф Шуба, Джейсон Голдшмит, Майкл Спир и Мохамед Хефида (Christoph L. Schuba, Jason Goldschmidt, Michael F. Speer, Sun Microsystems, Mohamed Hefeeda, Simon Faster University). Вездесущность Internet побуждает предприятия выполнять многие операции в электронном виде, в режиме on-line. Это порождает потребность в эффективном и надежном управлении громадными объемами данных. Успешное решение, применявшееся в последние несколько лет, состояло в концентрации критических компьютерных ресурсов в центрах данных Internet (Internet Data Center, IDC). IDC представляет собой набор компьютерных ресурсов, обычно сосредоточенных в одном физическом месте: зале, этаже строения или целом доме. Компьютерные ресурсы включают Web, приложение, серверы баз данных и сетевые устройства – маршрутизаторы, сетевые экраны, балансировщики нагрузки. Большие предприятия обычно используют собственные IDC; менее крупные компании могут арендовать компьютерные ресурсы в IDC, принадлежащих поставщикам услуг. Компьютерные ресурсы в IDC обычно организуются по слоям. Например, один набор серверов в IDC может быть выделен для Web-доступа (слой 1); другой набор серверов – для выполнения приложений, инициируемых по Web-запросам (слой 2); третий – для хранения данных (слой 3). Каждый слой оптимизируется под свою задачу. Например, для Web-сервера требуется высокоскоростной доступ к сети и возможность управлять многими соединениями, в то время как для сервера баз данных нужны большие объемы памяти и возможность быстро выполнять операции ввода-вывода. Слоистая архитектура позволяет инкрементально масштабировать IDC, поскольку каждый слой можно модернизировать независимо от других. Для улучшения масштабируемости и эффективности в IDC применяются и другие механизмы. Один из таких механизмов состоит в выполнении особенно дорогостоящих операций на специализированных устройствах. Например, для защиты данных в финансовых транзакциях часто используются специальные криптографические устройства. Подобные устройства образуют нулевой слой IDC; они размещаются в сети перед конечными системами и называются сетевыми устройствами нулевого слоя, или просто сетевыми устройствами. Кроме использования в IDC, сетевые устройства внедряются в некоторых других средах; на границах сетей поставщиков услуг Internet, в SAN и т.д. Обычно применяется дискретный подход к внедрению множественных сетевых устройств, каждое из которых обеспечивает единственный сетевой сервис. Авторы отмечают, что при возрастании числа сетевых услуг этот подход порождает многочисленные проблемы, связанные с масштабируемостью и управляемостью. Предлагается новая архитектура сетевых сервисов NEon, обеспечивающая интегрированный подход к разработке, использованию и управлению сетевыми сервисами. Система NEon принимает набор входных правил, определяющих функционирование различных сетевых сервисов, и производит унифицированный набор правил, которыми руководствуются устройства обработки пакетов общего назначения. Это служит основой централизованного управления многочисленными сетевыми сервисами, что обеспечивает ряд преимуществ по сравнению с организацией сетевых сервисов с применением дискретного подхода.

Авторами последней статьи апрельского номера – "Использование социальных сетей для борьбы со спамом" ("Leveraging Social Networks to Fight Spam" – являются Оскар Бойкин и Ввани Ройчоудхари (P. Oscar Boykin, University of Florida, Vwani P. Roychowdhuri, University of California, Los Angeles). В последние несколько лет резко возросла доля почтовых сообщений в электронной почте, являющихся спамом. 52% пользователей e-mail заявили об уменьшении своего доверия к электронной почте; 25% пользователей считают, что объем спама сократил их использование e-mail. Этот кризис привел к появлению широкого спектра предложений антиспамовских решений, от разработки более эффективных программных средств до принятия соответствующих законов на федеральном и региональном уровнях. Цели различных юридических и технических решений совпадают: они направлены на то, что сделать рассылку спама невыгодной и разрушить, тем самым, базовую бизнес-модель спамеров. Для достижения этой цели требуется широкое распространение и использование антиспамовских методов. Для завоевания доверия пользователей соответствующее средство должно быть точным, дружественным пользователю и экономичным. Предлагаемый авторами метод удовлетворяет всем трем требованиям. Метод основывается на распознавании уникальных характеристик, свойственных социальным сетям, и на разумном использовании таких сетей для правильного отбора. Надежность решений сильно зависит от достоверности используемых социальных сетей. Авторы разработали несколько интерактивных стратегий генерации достоверных сетей. Общепринятым правилом является то, что доверие основывается не только на том, как хорошо вы знаете некоторого человека, но и на том, насколько хорошо этого человека знают другие люди из вашей социальной сети. Авторы показывают, что это интуитивное правило формирования тесных социальных сетей работает и в кибер-пространстве, и его можно использовать для обеспечения эффективного автоматизированного алгоритма фильтрации спама.

В своих обзорах я давно не рекомендовал читателям новых книг. Соответствующая рубрика журнала Computer не слишком меня впечатляет. Но в начале этого года вышла книга, на которую не обратили внимания в редакции журнала Computer, а она этого, по моему мнению, заслуживает. Речь идет о четвертом издании хрестоматии "Readings in Database Systems", вышедшем под редакцией Майкла Стоунбрейкера и Джозефа Хеллерштейна. В книге собраны 48 лучших статей по тематике баз данных, причем 21 из них являются новыми по сравнению с предыдущем издании. Эта книга чрезвычайно полезна для студентов и преподавателей, а также для профессионалов в этой области. Вот для вашего удобства ссылка на соответствующую страницу на сайте Amazon.com. Полные выходные данные книги: Readings in Database Systems, Fourth Edition by Joseph M. Hellerstein (Editor), Michael Stonebraker (Editor). The MIT Press; 4th edition (January 7, 2005), ISBN: 0262693143.