Настоящее и будущее дополненной реальности

Сергей Кузнецов

Обзор июльского, 2012 г. номера журнала Computer (IEEE Computer Society, V. 45, No 7, Июль 2012).

Авторская редакция.
Также обзор опубликован в журнале «Открытые системы»

Темой номера является дополненная реальность (Augmented Reality). Имеется полноценная тематическая подборка, приглашенным редактором которой является Оливер Бимбер (Oliver Bimber, Johannes Kepler University Linz). Его вводная заметка называется «Что реально можно сказать о дополненной реальности?» («What’s Real About Augmented Reality?»).

Хотя исследования в области дополненной реальности (augmented reality, AR) начались в начале 1960-х, требуемого уровня развития технологии удалось достичь только в настоящее время, спустя почти 50 лет. За это время исследователи решили много технических проблем, обеспечив, наконец, практический доступ к этому пользовательскому интерфейсу. В то время как ранние исследования в области AR ориентировались на использование шлемов-дисплеев и ранцевых компьютеров, в настоящее время в этой области используются самые разные устройства, включая камерофоны и другие портативные устройства, развитые системы «проектор-камера» и специализированные профессиональные устройства, такие как рентгеновские сканеры. Эта эволюция сделала возможным применение AR в повседневной жизни людей. Хотя практические приложения AR еще не достигли того уровня, о котором мечтают многие специалисты в этой области, число этих приложений постоянно возрастает.

В проводимых в области AR исследованиях возникает ряд интересных вопросов. Что реально можно сказать о дополненной реальности? Какую роль в жизни людей она играет сегодня, и какое влияние потенциально окажет на общество в будущем? Появятся ли революционные приложения AR, или мыльный пузырь этой технологии, в конце концов, лопнет? В настоящее время области, в которых технология AR успешно применяется, включают развлечения, обучение, рекламу и маркетинг, а также медицину. Что будет дальше?

Первая регулярная статья тематической подборки называется «Повсеместно доступный интерфейс на основе портативной технологии дополненной реальности» («Anywhere Interfaces Using Handheld Augmented Reality») и написана Микаелем Гервицем и Дитером Шмальстигом (Michael Gervautz, Qualcomm Research, Vienna, Dieter Schmalstieg, Graz University of Technology, Austria).

У AR имеются важные приложения в областях видеоигр, интерактивных маркетинга и рекламы, учебных пособий и практических руководств, строительства и эксплуатации, а также навигации. Однако для реализации полного потенциала необходимо преодолеть некоторые технические трудности.

Быстро развиваются технологии мобильных устройств, таких как планшеты и смартфоны, но в них до сих пор воспроизводятся многие черты традиционных настольных компьютеров и поддерживаются ограниченные возможности обработки и хранения данных. Кроме того, мобильным устройствам свойственны эргономические ограничения (например, небольшой размер экрана), что затрудняет разработку приемлемых интерфейсов. Потребность в определении точного местоположения пользователя ограничивает условия успешного применения AR. Наконец, приложения, основанные на AR, не должны приводить к переизбытку информации, запутывающей, а не информирующей пользователей.

В статье описываются разработки последних лет в области портативной технологии AR. Упор делается на аспекты определения местоположения, трекинга, взаимодействия с пользователями и визуализации. Приводится несколько примеров, иллюстрирующих потенциальные возможности и важность приложений AR.

Статью «Дополненная реальность на основе проекционной техники в тематических Дисней-парках» («Projection-Based Augmented Reality in Disney Theme Parks») представили Марк Майн, Дэвид Роуз, Бей Янг, Йероэн ван Бар, Ансельм Грюндхефер (Mark Mine, David Rose, Bei Yang, Walt Disney Imagineering, Jeroen van Baar, Anselm Grundhöfer, Disney Research Zürich).

Сотрудники компании Walt Disney Imagineering (их называют Imagineers) используют множество инструментальных средств для создания альтернативных реальностей, называемых тематическими Дисней-парками. История, музыка, искусство и архитектура объединяются с наукой и передовой технологией, чтобы можно было пригласить гостей в «мир прошлого, будущего и фантазии».

В последнее время работники Walt Disney Imagineering начали исследовать подходы к объединению диснеевских креативности и артистизма с передовой проекционной технологией и компьютерной графикой. В статье описываются направления этих исследований, в результате которых создано несколько слабо связанных методов, относящихся к категории дополненной реальности на основе проекционной техники. В работе участвуют «имидженеры», а также ученые и инженеры из швейцарской лаборатории Disney Research Zürich

На верхних рисунках слева показана сцена в нормальном комнатном освещении, а справа – с проекционным дополнением. На нижнем рисунке демонстрируется техника, примененная к персонажам аттракциона «Страшные приключения белоснежки». Плоские картинки не обеспечивают должного впечатления, для этого нужно смотреть на результаты AR «вживую».

Авторами статьи «Дополненная реальность в местах общего пользования: музей естественной истории, Лондон» («Augmented Reality in a Public Space: The Natural History Museum, London») являются Аилса Берри, Джонатан Траут, Пол Дебенхэм и Грехэм Томас (Ailsa Barry, Jonathan Trout, Natural History Museum, London, Paul Debenham, Graham Thomas, BBC Research & Development).

В 2009 г. в Музее истории отечества в Лондоне торжественно открылась студия Аттенборо, современный мультимедийный комплекс, размещенный в новом Дарвинском центре и позволяющий использовать многочисленные перспективные технологии для обеспечения посетителям новых типов восприятия. В студии имеются обращенные к зрителям проекционные экраны, и для каждого зрителя обеспечивается сетевой мобильный компьютер с сенсорным экраном и Web-камерой.

Новый комплекс позволил музейным работникам создать 45-минутный интерактивный фильм «Как ты думаешь, кто ты есть на самом деле?» («Who Do You Think You Really Are?»), в котором используется технология дополненной реальности для разъяснения сложной теории эволюции. Первая реализация AR высококлассной общедоступной студии получилась очень занимательной, и, по отзывам посетителей, дополненная реальность помогает лучше понимать и усваивать сложную информацию. Полученный музеем опыт позволяет осознать проблемы и преимущества использования технологии AR в местах общего пользования.

Нассир Наваб, Тобиас Блюм, Лейджин Ванг, Асли Окур и Томас Вендлер (Nassir Navab, Tobias Blum, Lejing Wang, Asli Okur, Thomas Wendler, Technical University of Munich) являются авторами статьи «Первые внедрения дополненной реальности в операционных залах» («First Deployments of Augmented Reality in Operating Rooms»).

В 1990-е гг. появились первые прототипы систем дополненной реальности, предназначенных для использования в области медицины. К настоящему времени наибольшее внимание исследователей вызывали вопросы калибровки и синхронизации систем, трекинга и рендеринга в реальном времени и т.д. Полученные решения удовлетворяют требованиям различных приложений.

Однако при разработке систем AR для использования в области медицины по прежнему приходится сталкиваться с тремя основными проблемами: корректность восприятия виртуальных данных в реальном мире; интеграция систем AR в комплексные медицинские потоки работ; отсутствие необходимой подготовки у медицинских специалистов для разработки приложений AR для поддержки диагностики и лечения.

В статье описываются основные черты трех медицинских систем, разработанных в Мюнхенском техническом университете: Freehand SPECT (однофотонная эмиссионная компьютерная томография), CamC (рентгеновское устройство с рамой C-типа, дополненное камерой) и Mirracle (волшебное зеркало на основе AR).

Система Mirracle создает иллюзию того, что пользователь может смотреть внутрь своего тела.

Последняя статья тематической подборки называется «Дополненная реальность в учебном классе» («Augmented Reality in the Classroom»). Ее авторы – Марк Биллингхарст и Андреас Дюнзер (Mark Billinghurst, Andreas Dünser, The HIT Lab NZ, University of Canterbury).

AR помогает понимать сложные явления за счет обеспечения визуального и интерактивного восприятия, в котором объединяется реальная и виртуальная информация. При использовании AR разработчики могут наложить виртуальную графику на реальные объекты, позволяя пользователям взаимодействовать с цифровым контентом путем физических манипуляций. В результате более эффективно демонстрируются пространственные и временные понятия, а также концептуальная взаимосвязь реальных и виртуальных объектов. Например, читая текст и рассматривая двумерные картинки школьники могут понять, как позиционируется Земля относительно Солнца, но они могут гораздо лучше осознать нюансы расположения Земли при наличии трехмерной визуализации Солнечной системы. Динамические процессы представляются в виде анимированных моделей, а непосредственное материальное взаимодействие обеспечивает интуитивный способ взаимодействия с цифровым контентом. Наконец, AR может поддерживать новые формы совместного обучения. Несколько пользователей могут обозревать трехмерные объекты с разных точек обзора, взаимодействуя с объектами и обмениваясь впечатлениями, что делает обучение реально совместным.

Из-за наличия возможностей развитых пространственной визуализации и взаимодействия AR обеспечивает превосходную среду обучения. Однако для более широкого внедрения AR в образовательный процесс исследователям необходимо ответить на несколько важных вопросов относительно применимости этой технологии: действительно ли применение AR повышает уровень школьного образования, и если это так, то в чем преимущество AR перед другими передовыми технологиями обучения?

Для получения ответов на эти вопросы авторы статьи опросили ряд пользователей относительно значимости применения AR в школьном обучении. В целом отзывы были весьма положительными. Однако результаты опроса также показывают, что для полного раскрытия потенциала AR в образовательном процессе требуется более глубокий анализ возможностей использования этой технологии в учебных классах.

Вне тематической подборки в июльском номере опубликованы две статьи. Первая из них написана Дэниэлом О'Лири (Daniel E. O'Leary, University of Southern California) и называется «Компьютеризованная политическая борьба с законом PIPA: сражение и приостановка работы служб Internet» («Computer-Based Political Action: The Battle and Internet Blackout over PIPA»).

Протестуя перед принятием Конгрессом США двух законов – «О защите интеллектуальной собственности» (Protect Intellectual Property Act, PIPA) и «О противодействии онлайн-пиратству» (Stop Online Piracy Act, SOPA), несколько крупных Internet-компаний, включая Wikipedia и Craigslist, 18 января 2012 г. приостановило на 24 часа работу своих служб в Internet. Другие компании участвовали в акции протеста по-своему – например, на первой странице сайта Google логотип компании был закрыт черным пятном, при нажатии на которое пользователи попадали на страницу, где могли участвовать в подготовке петиции против законопроектов.

Волна критики законопроектов в США и за их пределами привела к тому, что многие американские законодатели, ранее поддерживавшие PIPA и SOPA, изъявили желание внести в законопроекты поправки или полностью их заменить. Скорее всего, ни один из этих законопроектов не будет принят в исходном виде.

Битва вокруг этих законопроектов, в особенности, против PIPA, иллюстрирует новую форму компьютеризованной политической борьбы. Инновационные методы политической борьбы с использованием Internet (включая приостановку работы служб, онлайновое голосование и координированный бойкот) оказались эффективнее традиционных подходов типа посылки писем в Конгресс. В частности, использование социальных сетей (в особенности, Twitter и Facebook) сыграло важную роль при формировании оппозиции и для содействия общению между законодателями по поводу PIPA.

Последняя крупная статья номера – «Архитектура безопасности по требованию для облачных вычислений» («On-Demand Security Architecture for Cloud Computing») – представлена Джиньенгом Ченом, Янгом Вангом и Ксяомином Вангом (Jianyong Chen, Yang Wang, Xiaomin Wang, Shenzhen University, China).

Исследования методов поддержки безопасности в облачной инфраструктуре все еще находятся в начальной стадии. Отсутствуют какая-либо универсальная модель или набор методов. Используемые методы включают изоляцию пользовательских ресурсов в течение обработки данных для предотвращения распространения вирусных инфекций; использование стороннего аудита для проверки целостности данных, хранимых «в облаках»; управление доступом на основе атрибутов и семантики данных.

Некоторые эксперты рекомендуют применять несколько политик безопасности для аутентификации пользователей, управления учетной информацией и защиты данных от неавторизованных пользователей. Например, администраторы облачной среды Amazon протоколируют и подвергают регулярному аудиту все попытки доступа к данным или операционным системам своих пользователей.

Все эти попытки направлены на выработку решения обеспечения безопасности по отношению к некоторому конкретному виду угроз. Эти методы несовместимы с облачными службами, у которых требования к безопасности иногда весьма различаются. Некоторые службы оперируют с общедоступной информацией и нуждаются только в базовой безопасности. Другие службы, например, те, которые поддерживают банковские транзакции, работают с гораздо более критичной информацией. На сегодня отсутствует какая-либо единая архитектура безопасности, удовлетворяющая возникающей смеси требований. Традиционный одноуровневый подход к обеспечению безопасности в клиент-серверных системах приводит к неэффективному использованию ресурсов и излишне усложняет использование облачных служб.

Для удовлетворения потребности в более гибкой архитектуре безопасности авторы статьи предлагают схему обеспечения безопасности по требованию. При этом подходе разные алгоритмы и протоколы безопасности применяются на разных стадиях жизненного цикла данных облачных служб: при передаче, при обработке и при хранении. Архитектура позволяет удовлетворить требования к безопасности каждой из этих стадий, что позволяет службам рационально использовать ресурсы и обеспечивает простоту использования служб.