От пикселей к вокселям

Сергей Кузнецов

Обзор августовского, 2005 г. номера журнала Computer (IEEE Computer Society, V. 38, No 8, Август 2005).

Авторская редакция.
Также обзор опубликован в журнале "Открытые системы"

В этом году августовский номер журнала Computer целиком посвящен одной теме "Совершенные технологии устройств отображения" ("Ultimate Display Technologies"). Вводная заметка приглашенного редактора номера Оливера Бимбера (Oliver Bimber, Bauhaus University, Weimar, Germany) называется "Совершенный дисплей – каким он будет?" ("The Ultimate Display—What Will It Be?"). Изобретение телевидения в конце 1920-х гг. оказано серьезное влияние на облик 20-го века. Сегодня мы используем и в профессиональной деятельности, и на отдыхе все более новые и совершенные устройства отображения. Например, с наших столов практически исчезли громоздкие электронно-лучевые трубки, вытесненные плоскими панелями. Конструктивные характеристики бытовых устройств отображения эволюционизируют от небольших кубов к широкоформатным панелям. Максимальные размеры плоских панелей ограничиваются технологическими факторами. При достижении пределов размера таких устройств развитие может быть продолжено за счет использования технологии видеопроекционных систем. Кроме того, большинство людей постоянно имеет при себе небольшие дисплеи, как часть мобильных телефонов, карманных компьютеров, навигационных систем и т.д. Что нас ждет в будущем? Каким станет телевидение через 80 лет? Отомрут ли пиксели (pixel, PICture'S Element), и придут ли им на замену воксели (voxel, образовано от VOlume и piXEL) и хогели (hogel, HOloGraphic ELement)? Будет ли активная 3D-графика вытеснять пассивную двумерную графику? Эти и другие вопросы представляют особый интерес, поскольку многим из нас предстоит быть свидетелями этой эволюции. В статьях августовского номера журнала Computer представлены тенденции развития технологий устройств отображения, от методов автостереоскопического и объемного отображения до компьютерной голографии, методов построения проекционных устройств и новых схем визуализации.

Первую большую статью номера под названием "Автостереоскопические 3D-дисплеи" ("Autostereoscopic 3D Displays") представил Нейл Додгсон (Neil A. Dodgson, University of Cambridge Computer Laboratory). Большая часть перцепционных признаков, используемых людьми для визуализации трехмерных структур реального мира, доступна в виде двумерных проекций. Поэтому мы можем осмысленно воспринимать фотографии и изображения на экранах телевизоров, в кинотеатрах и на компьютерных мониторах. Такие признаки включают окклюзию (один объект частично накрывает другой), перспективу (точку зрения), знакомые размеры (нам известен размер многих объектов реального мира) и атмосферную дымку (удаленные объекты выглядят более размытыми). В двумерной среде отсутствуют четыре признака: стереоскопический параллакс (способность видеть каждым глазом разные изображения), паралакс движения (возможность видеть разные образы при повороте головы), аккомодация (зрачок фокусируется на интересующем нас объекте), конвергенция (оба глаза сходятся на объекте, представляющем интерес). Все технологии трехмерного отображения (стереоскопические устройства отображения) обеспечивают, по меньшей мере, стереоскопический параллакс. Автостереоскопические устройства отображения предоставляют трехмерное изображение без потребности использования для просмотра каких-либо специальных приспособлений. Общеизвестные 3D-устройства отображения, для использования которых требуются специальные очки, представляют на одном экране два изображения. Очки выбирают изображение, видимое каждым глазом. Такой способ отображения поддерживается следующими технологиями: стандартный цветной дисплей в сочетании с цветными очками (метод анаглифа – двухцветного изображения); два стандартных дисплея, компланарность которых достигается с помощью полусеребрёной пластинки, в сочетании с поляризованными очками; два проектора, которые проецируют изображения на экран, сохраняющий полярность, в сочетании с поляризованными очками; дисплеи с двойной частотой сменой кадров в сочетании с "затворными очками" (shuttered glasses). У всех этих устройств отображения имеется ограниченное коммерческое использование. В ранних стереоскопических кинотеатрах использовался метод анаглифа, в котором правый компонент составного изображения (обычно, красный) накладывался на левый компонент контрастного цвета для создания 3D-эффекта, если зритель смотрел на экран сквозь соответствующим образом раскрашенные фильтры. Известно, что длительное использование таких устройств вызывает головную боль. Затворные очки используются в научных приложениях. В современных стереоскопических кинотеатрах нормой являются поляризованные очки, но их оборудование и требуемая для правильного использования квалификация персонала обходятся гораздо дороже традиционных моноскопических кинотеатров. Почти в половине кинотеатров IMAX используются поляроидные или затворные очки. Альтернативой использования очков являются шлемы с двумя небольшими дисплеями, по одному на каждый глаз. Сегодняшняя технология позволяет делать такие устройства достаточно легкими. У этих устройств имеется ряд областей применения, но их распространение ограничивает потребность в надевании шлема и соответствующая изоляция от внешнего мира. Все перечисленные технологии обеспечивают стереоскопический параллакс и конвергенцию. Путем применения дополнительной аппаратуры для отслеживания движений головы можно достичь параллакса движения для одного зрителя. В мультивидовых (multiview) и отслеживающих движение головы (head-tracked) автостереоскопических устройствах отображения соединяются эффекты стереоскопического параллакса и параллакса движения, обеспечивая восприятие 3D-изображения без очков. В наилучших реализациях достигается качество восприятия, аналогичное голограммам, восстанавливаемым в белом свете. В мультивидовых устройствах обозреваемая область делится на конечное число горизонтальных слотов. В каждом слоте видимым является только одно изображение, или вид. Однако каждый из двух глаз зрителя видит разные изображения, и эти изображения меняются, когда зритель двигает голову. Таким образом, небольшое число видов может обеспечить как стереоскопический параллакс, так и параллакс движения. В устройствах, отслеживающих движение головы, отображаются только два изображения в соответствующих слотах. Отслеживается положение головы зрителя, чтобы каждый глаз всегда видел правильную проекцию. Если в процессе генерации изображений учитывается положение головы, устройство может обеспечивать эффект параллакса движения. Иначе обеспечивается лишь стереоскопический параллакс. Во всех автостереоскопических устройствах отображения используются специальные оптические компоненты, обеспечивающие видение из разных точек обзора различных изображений на одной плоскости. В статье обсуждаются имеющиеся технические подходы к организации каждой разновидности автостереоскопических устройств отображения.

Следующая статья называется "Объемные 3D-дисплеи и инфраструктура приложений" ("Volumetric 3D Displays and Application Infrastructure") и написана Греггом Фаваролой (Gregg E. Favalora, Actuality Systems Inc.). Объемные устройства изображения производят объемные трехмерные изображения. Каждый объемный элемент, или воксель (voxel) трехмерной сцены излучает видимый свет из области, в которой он появляется. При наличии возможности проецировать объемные автостереоскопические образы, эти дисплеи применяются в таких разных областях, как визуализация изображений в медицине, механические системы автоматизации проектирования и военная визуализация. В книге создателей объемного дисплея на электронно-лучевых трубках Барри Бланделла и Адам Шварца (B. Blundell and A. Schwarz, Volumetric Three-Dimensional Display Systems, John Wiley & Sons, 2000) объясняется, что "объемный дисплей позволяет генерировать, поглощать и рассеивать видимое излучение из множества локализованных и заданных областей физического объема". На основе терминологии предыдущих исследований автор статьи предлагает следующую таксономию объемных дисплеев.

Несколько типов объемных дисплеев являются коммерчески доступными, включая продукт родной компании автора Actuality Systems Perspecta Spatial 3D System и устройство DepthCube компании LightSpace Technologies. Несколько компаний разрабатывают программное обеспечение, обеспечивающее совместимость с новыми и унаследованными приложениями. В компании автора разрабатывается независимая от устройств отображения среда визуализации, предназначенная для ускорения внедрения 3D-дисплеев.

Статья "Генерируемая компьютером голография как общая технология отображения" ("Computer-Generated Holography as a Generic Display Technology") представлена Крисом Слингером, Колином Камероном и Морисом Стэнли (Chris Slinger, Colin Cameron, Maurice Stanley, QinetiQ). Изобретенная в 1947 г. голография (термин происходит от греческого слова holos – единое целое) представляет собой метод трехмерного отображения, в котором интерференция и дифракция используются для фиксации и реконструкции оптических волновых фронтов. Уникальная возможность голографии точно генерировать как амплитуду, так и фазу световых волн позволяет применять ее в приложениях, не ограниченных средствами манипулирования светов систем, которые основаны на линзах или зеркалах. Голография, генерируемая компьютером (Computer-Generated Holography, CGH) – это развивающаяся технология, становящаяся возможной за счет возрастающей мощности компьютеров, которая позволяет избежать шага интерференционной записи традиционного формирования голограмм. Вместо этого компьютер вычисляет голографическую интерференционную картину, которая затем используется для установки оптических свойств пространственного генератора света, такого жидкокристаллический микродисплей (Liquid Crystal Microdisplay, SLM). Затем SLM, подобно стандартной голограмме, рассеивает считываемую световую волну для получения желаемого волнового фронта. По сравнению с традиционными подходами, применяемыми в голографии, подход CGH не нуждается в специальных материалах для записи голограмм; может синтезировать оптические волновые фронты без потребности фиксации их физического проявления – например, можно генерировать 3D-изображения несуществующих объектов; обеспечивается небывалое управление волновым фронтом за счет возможностей простого хранения, манипулирования, передачи и репликации голографических данных. Хотя уже сегодня можно построить системы отображения на основе подхода CGH, для многих приложений они не являются практичными по причине высокой стоимости. Однако, по мере удешевления мощных компьютеров и оптической аппаратуры, в ближайшем будущем CGH-дисплеи станут реальной альтернативой.

Название следующей статьи – "Совершенный дисплей: откуда возьмутся все эти пиксели?" ("The Ultimate Display: Where Will All the Pixels Come From?"). Авторы статьи – Бенджамин Ватсон и Дэвид Любке (Benjamin Watson, Northwestern University, David Luebke, University of Virginia). Представьте себе, что стены вашей квартиры и офиса являются дисплеями, показывающими более мелкие детали, чем способны различить ваши глаза, и что они могут изменять эти детали быстрее, чем вы можете заметить какое-либо мерцание или задержку. Отображаемый на такую стену текст выглядит так, как на печатной странице. Участвуя в видеоконференции, вы можете видеть все эмоции на лице вашего коллеги. Вы можете видеть травинку на ноге бегущего футболиста или волосок на лице любимого артиста. В компьютерных играх вы можете разглядеть песчинки на капоте автомобиля своего соперника по гонкам и получать удовольствие от мгновенной реакции на каждый поворот руля. Создать такой дисплей исключительно трудно. Для настенного дисплея, поддерживающего остроту человеческого зрения при просмотре крупных планов (в среднем глаз здорового человека может различать детали размером в одну минуту угла зрения; для сравнения, размер человеческого пальца на расстоянии вытянутой руки составляет 60 минут угла зрения), требуется разрешающая способность примерно в 670 мегапикселей со 190 точек на дюйм (dpi). Почему же тогда в принтерах поддерживается намного более высокое разрешение? Одна из причин состоит в повышенной остроте зрения человеческого глаза (повышенная острота зрения делает глаз чувствительным к некоторым деталям размеров в несколько секунд угла зрения). Чтобы ее поддерживать, в настенном дисплее потребовалась бы разрешающая способность в 165 гигапикселей при 3000 dpi. Это в 10000 с лишним раз больше числа пикселей, обеспечиваемого в наиболее крупных сегодняшних дисплеев. Человеческая чувствительность к временным задержкам только увеличивает число требований к совершенному дисплею. В дополнение к наличию исключительно высокого пространственного разрешения дисплей должен также и регенерироваться примерно в четыре раза быстрее современных дисплеев. Очевидно, что мы еще долго не увидим таких дисплеев. Между тем, мы можем заняться более реальной и не менее важной проблемой: настенным дисплеем с разрешением, как у принтера (7.2 гигапикселей, 600 dpi) с частотой обновления 240 Гц. Такие характеристики уже не являются недостижимыми. В дисплее T221 компании IBM поддерживается разрешение в 200 dpi, а в устройствах Librie (электронных книгах) используется технология e-Ink со 170 dpi. Учитывая растущую популярность и непрерывное удешевление наборных дисплеев (tiled display), легко представить массив из 50 дисплеев уровня T221, используемый в качестве основы поддерживающего остроту зрения 455-мегапиксельного дисплея с 200 dpi и частотой регенерации в 48 Гц. Реальной проблемой таких дисплеев является пропускная способность. Пропускная способность в 2 терапикселя в секунду в 10000 выше, чем у современных графических систем. Для тех, кто может себе это позволить, справиться с большей частью проблемы поможет параллельная графика. Например, затратив примерно 20000 долларов на покупку 50 графических процессоров для поддержки своего настенного дисплея с разрешением уровня принтера, можно сократить требования к пропускной способности до 24 гигапикселей в секунду, что всего в 200 раз превышает типичные сегодняшние скорости. Но, как видно, параллельного воспроизведения оказывается недостаточно. При сохранении тенденций последних 10-20 лет, для достижения 200-кратного повышения пропускной способности потребуется более шести лет на реализацию графических шин, более 10 лет на создание графических процессоров и более 45 лет на их соединение с дисплеем. Понятно, что для того, чтобы преодолеть проблему пропускной способности в не слишком отдаленном будущем, потребуются более фундаментальные нововведения. Экзотические технологии отображения, такие как голография, автостереоскопия и объемное отображение, требуют даже более высокой пропускной способности, чем обычные дисплеи, и развитие этих технологий будет только обострять проблему. Авторы предлагают одно из возможных новшеств – адаптивная безкадровая обработка. В этом подходе отвергается традиционная концепция анимации как последовательности образом, или кадров. Авторы также отказываются от представления образов как согласованных во времени решеток образцов, или пикселей. Вместо этого, в предлагаемом подходе образцы генерируются, когда и где они требуются. Реализованный прототип системы показал, что применение подхода автором может снизить требования к пропускной способности на один-два порядка.

Наконец, последняя статья тематической подборки, и последняя большая статья номера в целом называется "Дым, зеркала и технологичный в производстве дисплей" ("Smoke, Mirrors, and Manufacturable Displays"). Статью написала Мари-Луи Жепсен (Mary Lou Jepsen, JOE Inc.). За последние два десятилетия исследователи в области электроники успешно продвинули свои лабораторные новинки – интегральные схемы, компьютеры, программное обеспечение и т.д. – в массовое производство. Однако закон Мура оказался не очень применимым к индустрии дисплеев. Исследователи в области высококачественных устройств отображения оказались чрезвычайно нерезультативными в переносе своих замечательных новых идей в мир потребителей. Конечно, они добились некоторого прогресса. Наиболее успешными новшествами в области дисплеев являются наблюдаемый сегодня глобальный переход от дисплеев на электронно-лучевых трубках (cathode ray tube, CRT) к жидкокристаллическим дисплеям (LCD) и ускоряющееся внедрение видеопроекционных систем. В большинство разработок, направленных на достижение "совершенной" технологии устройств отображения, усилия сосредотачиваются на начальной демонстрации результата, не слишком заботясь о производственной технологичности прототипа. Усилия по коммерческому внедрению продукта обычно наталкиваются на огромные препятствия и захлебываются в течение нескольких лет. Обычно, спустя несколько лет, та же работа возобновляется другой группой, не слишком знакомая с предыдущей попыткой внедрения и причинами ее неудачи. Такой сценарий особенно распространен в области трехмерного отображения. Часто начальные прототипы демонстрируют действительно новые и впечатляющие технологии. Это заслуживает поощрения. Воодушевляют результаты, полученные в областях широкоформатных дисплеев, интерактивных дисплеев, трехмерных и голографических дисплеев, дисплеев с тактильной обратной связью, проекционных устройств без экрана и т.д. Для характеристики возможности производства наиболее современных прототипов дисплеев, которые производят интересные эффекты, но никогда не будут реально использоваться, применяется термин "дым и зеркала". Исследователи, создающие и успешно демонстрирующие прототипы, не осознают трудностей, которые возникнут при их доводке до состояния рыночного продукта. Во многих случаях эти дисплеи остаются прототипами, которым не суждено когда-либо стать продуктами. Со временем они просто исчезают. Трудным компонентом технологичного в производстве решения является стоимость. Приходится платить за пропускную способность, видеокодирование, проектирование и разработку схем, надежность и качество изображения. Конечно, некоторые компании создают новые технологии трехмерных дисплеев с истинной выносливостью. Например, компания StereoGraphics (www.stereographics.com) в течение 25 лет производит затворные очки и другие устройства 3D-отображения. Существуют и другие примеры успешного внедрения новой технологии, но они являются исключениями. При разработке совершенного дисплея компаниям следует сосредоточиться на производственном конвейере, используя его существующую мощность для более быстрого перехода от демонстрационного образца к рыночному продукту.

Как видно, материал этого номера не очень традиционен для журнала Computer. Здесь используется много терминов и понятий из области оптики, и даже физиологии глаза. Мне было трудно писать обзор журнала, поскольку по своей профессии я далек от физики, да и как программист никогда не занимался решением задач визуализации. Я очень старался быть аккуратным, особенно в отношении терминологии, но, насколько я понял, многие русскоязычные варианты терминов еще не устоялись. Прошу прощения у читателей, являющихся профессионалами в области трехмерной визуализации данных, за возможные неточности. С уважением, Сергей Кузнецов