Тематическая подборка июльского номера в этом году посвящена виртуальной реальности. Но в действительности еще две большие статьи этого номера также посвящены трехмерной визуализации, и только в одной статье не затрагивается эта тема. Начну свой обзор с тематической подборки.

Первая тематическая статья называется "Виртуальная реальность: какого погружения достаточно?" ("Virtual Reality: How Much Immersion Is Enough?"). Авторы статьи: Дуг Боуман и Райан МакМахан (Doug A. Bowman, Ryan P. McMahan, Virginia Tech).

В 1990-е гг. исследования в области виртуальной реальности (virtual reality, VR) были особенно в моде - VR обещала вырасти в новое крупное явление. К исследователям поступали многочисленные запросы со стороны представителей средств массовой информации, и футуристические системы виртуальной реальности проявлялись в различных областях массовой культуры - от Голливудских кинофильмов и фантастических романов до телевизионных комедийных шоу.

Большая часть этого ажиотажа концентрировалась вокруг иммерсивной VR - сложной технологии, замещающей сенсорную информацию реального мира синтезированными воздействиями, такими как трехмерные визуальные изображения, пространственный звук и силовая или тактильная обратная связь. Цель иммерсионных виртуальных сред (virtual environments, VE) заключалась в том, чтобы дать пользователям возможность почувствовать мир, генерируемый компьютером, так, как если бы он был реальным миром - обеспечивая ощущение присутствия в головах пользователей.

В большой степени исследователи виртуальной реальности преуспели в достижении этой цели. Вне всякого сомнения, в технологии VR, включая 3D-визуализацию, слуховое и осязательное отображение, системы отслеживания координат и устройства ввода, все еще присутствуют проблемы простоты использования и точности воспроизведения. Однако демонстрации высококачественных средств VR явственно показывают, что иммерсионная виртуальная реальность работает.

При первых контактах с иммерсионной виртуальной реальностью у пользователей возникает сильная реакция. Стереоскопические изображения, высовывающиеся из экрана виртуальные объекты, осязаемые реальной рукой, изменение вида виртуального мира при движении головы в совокупности обеспечивают уникальные ощущения, отличающиеся от тех, которые предоставляют 3D-приложения на экранах персональных компьютеров или игровых приставок.

Очевидно, что иммерсионная виртуальная реальность является особенной и уникальной, но в реальном мире имеется лишь несколько примеров практического применения иммерсионных VR-систем. Какие измеримые преимущества может принести иммерсия? Технологии высококачественной виртуальной реальности, включая VR-шлемы, многоэкранные стереоскопические проекционные устройства отображения, системы трехмерного отслеживания координат и развитые устройства ввода, по-прежнему являются достаточно дорогостоящими. Если все это может всего лишь обеспечить уникальные ощущения у пользователей, то трудно обосновать стоимость иммерсионных систем виртуальной реальности и трудозатраты, требуемые для их создания.

В опубликованной в 1999 г. известной статье Фредерика Брукса (http://www.cs.unc.edu/~brooks/WhatsReal.pdf) задается аналогичный вопрос: "Что реально в виртуальной реальности?". Разработчики создали успешные приложения иммерсионной VR, хотя число производственных приложений ограничено. Анализ этих приложений может обеспечить лучшее представление об известных преимуществах иммерсионных VE.

С большим успехом иммерсионные VE используется врачами при лечении неврозов страха. Например, если заставить пациента публично выступить в виртуальном конференц-зале, то в его мозгу инициируются те же структуры страха, что и при реальном выступлении, и это дает врачу возможность перевести уровень страха пациента на управляемый и приемлемый уровень. Эффективность этого метода подтверждается не только клиническими испытаниями, но и его применением в регулярной практике врачей.

Одним из первых успешных приложений иммерcионной VR является военная подготовка. Например, можно обучать пехотинцев тактике ведения боя в городских условиях путем их перемещения в виртуальный город, в котором присутствуют вражеские и дружественные военные группы. Обучение в условиях виртуальной реальности обеспечивает уровень реализма, недоступный в условиях класса, а также большую гибкость и меньшие расходы по сравнению с обучением в условиях реального мира. Успешное применение VR в военной подготовке стимулировало распространение аналогичных методов в других областях обучения, в частности, в медицине.

Иммерсионная VR с некоторым успехом используется и в индустрии развлечений, но применение этой технологии не стало таким широким, как это предсказывалось. Хотя, например, игры в среде виртуальной реальности могут производить очень сильное впечатление, в мире имеется всего лишь несколько таких установок, и высокая стоимость систем вынуждает предоставлять каждому пользователю лишь небольшое игровое время.

Эти приложения оказались успешными, потому что они удовлетворяют требованиям предметных областей и превосходят альтернативные решения, отвечающие тем же требованиям. Но почему для этих приложений так хорошо подошла иммерсионная виртуальная реальность? Прежде всего, по той причине, что все эти приложения основываются на реальности ощущений, которые обеспечивает пользователям VR. Для этих приложений требуется высокий уровень точности ощущений - визуальных, акустических и других ощущаемых сигналов, схожих с теми, которые воспринимаются в реальном мире. Требуется, чтобы ощущения пользователей в виртуальном мире как можно больше соответствовали их ощущениям в моделируемом реальном мире. Другими словами, для подобных приложений требуется высокий уровень погружения (иммерсии), поскольку они обеспечивают чувство присутствия.

На этой стадии сообщество исследователей виртуальной реальности застряло на много лет. Известно, что высокий уровень погружения повышает чувство присутствия, обеспечивает более реалистичные ощущения, и это может способствовать повышению эффективности некоторых приложений. Но для чего еще можно применить технологию иммерсионной VR? Число приложений, сильно выигрывающих от возможности обеспечения реалистичных ощущений реального мира, кажется ограниченным. Найдены ли уже наиболее успешные приложения иммерсионной VR? Или VR - это всего лишь диковинка, позволяющая делать замечательные демонстрации, но мало пригодная для практического использования?

В качестве ответа на эти вопросы авторы предлагают две взаимосвязанные стратегии. Во-первых, обеспечение эффекта присутствия может являться не единственным достоинством погружения. Приложения могут извлекать пользу из других побочных эффектов высокого уровня погружения. Во-вторых, к погружению следует относиться не как к единой конструкции, а как к комбинации многих компонентов, которые могут быть полезны приложениям.

Например, в нефтегазовой промышленности используются технологии многоэкранной стеореоскопической иммерсионной проекции (immersive projection technologies, IPT) для визуализации и планирования нефтяных скважин. Для принятия правильных решений пользователи этих систем должны иметь возможность видеть и понимать сложные 3D-структуры. В таких приложениях обеспечивается модельное представление реального мира без потребности в эффекте присутствия. В данном случае чувство присутствия не помогает пользователю решать задачу более эффективно. Более того, визуализация может быть намеренно абстрактной, помогающей пользователям лучше понять важные свойства пластов. Имеется и ряд других примеров реальной пользы иммерсионных систем VR, от которых не требуется обеспечение чувства присутствия.

Но из чего проистекает эта польза? Из-за того ли, что в системах, основанных на IPT, имеются экраны большего размера, обеспечивающие более широкий сектор обзора (wider field of view (FOV)? Насколько полезно в таких системах отслеживание положения головы пользователя? На основе имеющегося опыта невозможно сказать, какие компоненты технологии иммерсионной VR приносят реальную пользу. Возможно, необходимы все компоненты, присутствующие в IPT-системах. Но настолько же вероятно, что основным фактором повышения эффективности пользователей являлся какой-либо один компонент, например, тот, который отслеживает движения головы оператора. Тогда достаточным окажутся гораздо более простые системы fishtank VR (стеореографика с использованием стандартного монитора с отслеживанием движений головы).

Авторы провели серию экспериментов с приложением, предназначенным для моделирования и анализа структуры горных массивов. Эти эксперименты показали, что уровень погружения, обеспечиваемый системой VR, существенно влияет на эффективность использования приложений. В то же время от таких приложений не требуется обеспечение чувства присутствия, и достаточными оказываются не столь дорогостоящие системы VR.

У второй статьи тематической подборки - "Анализ данных погружения: четыре практических исследования" ("Immersidata Analysis: Four Case Studies") - семь авторов из Университета Южной Калифорнии, Флоридского университета и Национального университета Сингапура. Первым в списке авторов указан Кирус Шахаби (Cyrus Shahabi, University of Southern California).

Несколько лет назад авторы статьи осознали, что ежесекундный обмен стимулами и реакциями между людьми и техническими устройствами, продуктами и цифровыми носителями информации изобилует неиспользуемой информацией. Вместо того чтобы отбрасывать эту информацию, можно сохранять и анализировать потоки данных, возникающие при таких взаимодействиях, а потом использовать результаты анализа.

Начальная работа, направленная на проверку этого предположения, фокусировалась на иммерсионных средах, таких как виртуальная реальность, и компьютерных играх, в которых пользователь взаимодействует с людьми, искусственными объектами и базами данных. Производился мониторинг пользователей с использованием различных видео, оптических и магнитных позиционных и сенсорных устройств отслеживания, подсоединенных к разным частям тела пользователя, а также к клавиатуре и мыши. Для обозначения данных, полученных при взаимодействии пользователей с иммерсионными средами, авторы ввели термин данные погружения (immersidata) (http://infolab.usc.edu/DocsDemos/mis99.ps). Анализ данных погружения состоит в автоматическом поиске, обработке и манипулировании данными, собранными при взаимодействии пользователей с иммерсионными средами, для понимания или предсказания поведения и намерений пользователей в контексте иммерсионного приложения.

После нескольких лет исследований различных иммерсионных приложений и наборов данных погружения была разработана система управления данными погружения (An Immersidata Management System, AIMS). В AIMS данные погружения трактуются, как несколько многомерных потоков сенсорных данных, и решаются задачи сбора этих данных, хранения, поддержки запросов и анализа.

В представленной статье для иллюстрации важности данных погружения описываются результаты четырех практических исследований в областях медицины и образования. Авторы показывают, что данные погружения могут быть не менее показательными, чем данные, получаемые с помощью других методов мониторинга, сбора и анализа экспериментальных данных. Однако авторы не ставят перед собой цель заменить эти методы, а предлагают дополнительный подход к сохранению и анализу данных, которые обычно просто утрачиваются.

Проведенные исследования являются предварительной работой по демонстрации полезности данных погружения. Эти исследования показывают, что общая архитектура системы сбора, поддержки запросов и анализа данных погружения может быть полезна во многих предметных областях.

Тематическую подборку завершает статья Шри Найара и Виджая Ананда (Shree K. Nayar, Columbia University, Vijay N. Anand, Prana Studios in Mumbai, India) "3D-дисплей с использованием пассивных оптических рассеивателей" ("3D Display Using Passive Optical Scatterers").

Системы отображения изображений и видеоданных вошли в повседневную жизнь людей. Однако большинство сегодняшних систем может отображать только двухмерные изображения. Поскольку мы живем в трехмерном физическом мире, система, способная отображать статические и динамические 3D-изображения, может обеспечить наблюдателям ощущения большей погруженности.

В прошлом веке исследователи вели энергичную работу по созданию устройств, которые могли бы реалистично и с высоким разрешением отображать трехмерные изображения (http://splweb.bwh.harvard.edu:8000/~halazar/pubs/autostereo_cg97_preprint.pdf). В результате в настоящее время разрабатывается класс недорогих объемных дисплеев, которые могут отображать некоторые разновидности 3D-контента, включая простые 3D-объекты, экструзионные объекты и трехмерные поверхности, кажущиеся динамическими при проецировании изменяющихся во времени изображений со сравнительно низким разрешением.

В описываемом в статье дисплее используется простой проекционный модуль (light engine) и множество пассивных оптических рассеивателей (passive optical scatterers). Основная идея состоит в изменении показателей двумерного пространственного разрешения проекционного модуля для получения разрешения в третьем измерении. Одним из способов достижения такого изменения является использование наборов плоских решеток рассеивателей, в которых никакие два набора взаимно не перекрываются по отношению к лучам проекционного модуля.

Использование такой полурегулярной 3D-решетки приводит к ограниченной видимости. При перемещении наблюдателя через облако точек доля видимых точек существенно изменяется и становится очень малой для некоторых направлений обзора. Однако рандомизация облака точек с соответствии с проекционной геометрией проекционного модуля обеспечивает необычно стабильную видимость.

Авторы использовали технологию повреждения лазерными лучами (laser induced damage, LID), которая позволяет эффективно, точно и недорого встроить желаемое облако точек в сплошной стеклянный или пластмассовый блок. Каждый рассеиватель является физической трещиной в этом блоке, создаваемой путем фокусировки пучка лучей лазера в некоторой точке. При естественном освещении трещина едва видна, а когда на ней фокусируется освещение, она светится ярко.

Для освещения рассеивателей авторы разработали модуль ортогонального проецирования (orthographic light engine), в котором используются обычный покупной цифровой проектор и недорогая оптика для порождения параллельных лучей с большой зоной охвата. Хотя ортогональное проецирование не является обязательным, оно позволяет использовать облака точек без смещения разрешения (resolution bias) и с относительно простой калибровкой дисплея.

Авторы разработали несколько версий пространственного дисплея, каждая из которых соответствует потребностям конкретных приложений. Реализованы облака точек с 10000 точек для отображения истинных 3D-объектов, с 190500 точек для отображения экструзионных объектов с верхней поверхностью произвольной структуры, со 127223 точками для создания трехмерных аватар и т.д.

Поскольку эти дисплеи отображают контент в физическом объеме, изображений воспринимается трехмерным во всех отношениях - присутствуют бинокулярный параллакс (binocular parallax), параллакс движения (motion parallax), адаптация (accommodation) и т.д. Использование физического объема также позволяет одновременно обозревать контент с разных направлений нескольким наблюдателям. С другой стороны, этим дисплеям свойственны ограничения большинства объемных дисплеев. Они не могут отображать эффекты, зависящие от ракурса, такие как зеркальность (specularity) и перекрытие объектов (occlusion).

Как говорилось в начале этого обзора, вне тематической подборки опубликованы еще две статьи, посвященные визуализации. Нуно Васконкелос (Nuno Vasconcelos, nuno@ece.ucsd.edu, University of California, San Diego) представил статью "От пикселей к семантическим пространствам: достижения в области поиска изображений на основе содержания" ("From Pixels to Semantic Spaces: Advances in Content-Based Image Retrieval").

В августе 2006 г. рейтинговое агентство Nielsen/NetRatings объявило, что пять из десяти наиболее быстро растущих Web-брэндов являлись сайтами, контент которых генерируется пользователями, - платформами для совместного использования фото- и видеоматериалов и размещения блогов (www.nielsen-netratings.com/pr/PR_060810.PDF). Более ранние статистические данные показывали, что в апреле 2006 г. пять наиболее популярных сайтов совместного использования фотографий посетило около 34 миллионов американцев (http://pic.photobucket.com/press/2006-06-PopPhoto.pdf).

Эти цифры иллюстрируют хорошо известный результат информационной революции: переход от пассивного использования контента пользователями к предоставлению жестко форматированных служб широковещания активным пользователям, стремящимся к владению средой информации и собственной издательской деятельности. Технологические достижения в областях цифрового представления изображений, широкополосных сетей и хранения данных мотивировали миллионы обычных людей к взаимному общению и самовыражению путем совместно использования в режиме on-line изображений, видеороликов и других видов представления информации.

Однако некоторые возможности все еще отсутствуют. Получение, хранение и передача фотографий поддерживаются тривиально, но существенно сложнее индексировать, сортировать, фильтровать изображения и производить их поиск. Современные поисковые машины и их отпрыски для поиска изображений и видеороликов достигли значительного прогресса в областях, в которых визуальный контент сопровождается текстовыми описаниями, но они анализируют только метаданные, а не сами изображения, и во многих практических сценариях такой подход является слишком ограниченным.

Например, можно использовать одну из популярных поисковых машин для загрузки 17700 изображений "ребенка, играющего в футбол" с сайтов Internet по всему миру, но они окажутся бесполезными, если на самом деле хочется найти фотографии своего ребенка, играющего в футбол. Хотя эти фотографии хранятся на жестком диске собственного компьютера пользователя, буквально на расстоянии протянутой руки, они недоступны каким-либо организованным способом. Конечно, можно вручную пометить эти фотографии, обеспечив компьютеру возможность более эффективного поиска, но это кажется неправильным. В конце концов, машина должна работать на человека, а не наоборот.

В статистической лаборатории визуального компьютинга (Statistical Visual Computing Laboratory, SVCL) университета Сан-Диего, Калифорния (www.svcl.ucsd.edu) в течение нескольких лет исследуется проблема поиска изображений на основе содержания. Одной из целей SVCL является разработка систем поиска изображений на основе понимания их содержания и возможности представлять это содержание в форме, интуитивно понятной людям. Эта работа базируется на результатах исследований в областях машинного зрения и машинного обучения, и в ней исследуются многие проблемы представления изображений и интеллектуальных систем, включая оценки сходства изображений, автоматическое аннотирование изображений, возможность понимания ответной реакции пользователей при поиске изображений и разработка индексных структур, обеспечивающих эффективный поиск.

Авторами статьи "Трехмерное сканирование тела и приложения здравоохранения" ("3D Body Scanning and Healthcare Applications") являются Филипп Треливен и Джонатан Уэллс (Philip Treleaven, Jonathan Wells, University College London).

Практикующие врачи для оценки состояния здоровья и назначения лечения традиционно измеряли размеры и формы тела пациента вручную. Потом появилась возможность использования для получения трехмерных изображений внутренних образов тела пациента компьютерно-томографических (computed-tomography, CT) сканеров. Теперь 3D-сканеры поверхности тела обеспечивают новую возможность точного измерения размера и формы, а также площади поверхности кожи. Хотя 3D-сканеры изначально разрабатывались для швейной промышленности, низкая стоимость, бесконтактная природа и простота использования делают их привлекательными для применения в разнообразных клинических приложениях и при проведении крупномасштабных эпидемиологических исследований.

Пришло время для применения возможностей тотального сканирования тела в повседневной медицинской практике, и это может иметь такие же революционные последствия для медицины, как использование магнитно-резонансной томографии, ренгенографии и CT-сканирования для получения внутренних образов тела. Трехмерное сканирование поверхности тела обещает стать одним из основных медицинских инструментов. При наличии требуемой аппаратуры основным ограничивающим фактором является программное обеспечение, сложность которого быстро увеличивается.

Как и в случае любой новой технологии здравоохранения, медикам необходимо проанализировать несколько проблем, связанных с этикой, конфиденциальностью и защитой данных. В частности, при сканировании пациентов в нижнем белье и получении при этом трехмерных изображений с высоким разрешением медики должны соблюдать деликатность, используя полученные изображения и показывая их пациентам. Однако многочисленные потенциальные преимущества трехмерного сканирования тела перевешивают большую часть имеющихся проблем.

Последняя большая статья номера, уже не относящаяся к области трехмерной визуализации, написана группой из восьми авторов из ирландского University of Limerick. Первой в списке авторов стоит Луиджина Киолфи (Luigina Ciolfi). Статья называется "Ввод в действие Шеннонского портала: интеграционный проект для общественных служб" ("The Shannon Portal Installation: Interaction Design for Public Places").

Центр интерактивных разработок Лимерикского университета участвует в исследовательском проекте Shared Worlds, финансируемом Научным фондом Ирландии. В этом проекте исследуются проектирование и разработка интерактивных артефактов в общественных помещениях.

В применяемом подходе технология представляется как инструмент для поддержки человеческой деятельности, и поэтому до разработки концепции проекта требуется тщательное изучение человеческой деятельности и ее анализ. В исследовании авторов статьи для формирования и структуризации процесса разработки соединяются аспекты общественных и технических наук. Действия по поиску творческих идей и разработки концепции предпринимаются только после протяженной работы у заказчика, направленной на улучшение понимания различных действующих лиц, участвующих в использовании общественных служб, и их взаимосвязей во времени и пространстве. В итерационном процессе разработки оцениваются и учитываются различные аспекты прототипов, создаваемых в ходе выполнения проекта.

Интерактивная система, созданная авторами для аэропорта Шеннона, позволяет пользователям выбирать и персонализировать фотографии на основе аннотаций и образцов, а потом посылать их по электронной почте или загружать в публичную галерею, проецируемую на стену в транзитном зале аэропорта. Участники могут делать фотографии собственными цифровыми камерами, аннотировать их и посылать в галерею, а могут выбирать их из набора публичных фотографий, хранимых в системе. Прохожие могут увеличивать отдельные изображения из коллажа на стене изображений, перемещаясь вдоль этой стены. Используемый в системе алгоритм машинного зрения отслеживает это перемещение и увеличивает изображение, находящееся на стене напротив данного человека. Объективы стены изображений, которые перемещаются вдоль стены со скоростью движения посетителей, обеспечивают соответствующую реакцию системы. Система поддерживает как индивидуальную, так и коллективную активность пользователей, усредняя в последнем случае их перемещения для правильного расположения объективов.

В этой разработке демонстрируется общая важность использования комбинации методов на разных стадиях процесса разработки, потребность в понимании всех особенностей общественного помещения и анализе требуемых физических качеств системы, предназначенной для общественного использования.