Темой августовского номера журнала Computer является компьютерная фотография (Computational Photography). Этой теме посвящены четыре из пяти больших статей номера. Имеется приглашенный редактор Оливер Бимпер (Oliver Bimber, Bauhaus-University Weimar, Germany), представивший вводную заметку под названием "Компьютерная фотография - следующий большой шаг" ("Computational Photography - The Next Big Step").

Переход от аналоговой к цифровой фотографии определенно является большим шагом, который почти завершился. Хотя некоторые профессионалы по-прежнему предпочитают пользоваться фотопленкой, большинство перешло к использованию цифровых камер. Цифровая фотография открыла много новых возможностей, таких как немедленный предварительный просмотр изображений, постредактирование и запись коротких видеоклипов. Сегодняшнее мегапиксельное разрешение цифровых камер может легко обеспечивать качество уровня аналоговой фотопленки для широкого набора любительских и профессиональных приложений. По этой причине некоторые из основных производителей фотокамер сократили или вовсе прекратили производство аналоговых камер и фотопленки.

Теперь мы стоим перед следующим большим шагом - компьютерной фотографией (computational photography). Компьютерная фотография расширяет возможности цифровой фотографии, позволяя записывать большие объемы информации и предоставляя средства для последующей обработки этой информации.

У аналоговой и цифровой фотографии имеется одно общее ограничение. Они фиксируют только интенсивность и цвета световых лучей, которые линейно проецируются простой системой линз на плоскость изображения в одиночный момент времени и при фиксированном освещении сцены. В основном продолжает использоваться принцип камеры обскура, известный еще с античных времен. Поэтому большая часть световых лучей, распространяемых в пространстве и времени, не фиксируется.

Деннис Габор (Dennis Gabor) и Габриел Йонас Липпманн (Gabriel Jonas Lippmann) затронули часть этой проблемы, предложив концепцию голографии и так называемой фотографии Липпманна. Однако оцифрованные фотографические записи все равно невозможно подвергать цифровой постобработке. Компьютерная фотография обеспечит возможности записи трехмерных изображений, цифровой рефокусировки, искусственного изменения освещения, улучшенной компенсации сдвига, подавления помех и многое другое.

Первую большую статью тематической подборки - "Компьютерные фотокамеры: переопределение изображения" ("Computational Cameras: Redefining the Image") - написал Шри Наяр (Shree K. Nayar, Columbia University).

За последнее столетие фотокамеры подверглись значительной эволюции. Однако в этом эволюционном процессе остался неизменным основополагающий принцип камеры обскура (camera obscura, "темная комната" на латыни). У традиционной фотокамеры имеются детектор (фотографическая пленка или пластинка) и объектив, который, по существу, фиксирует световые лучи, проходящие через его центр проекции, или действующую диафрагму. Другими словами, традиционная камера производит специальную и ограниченную выборку из полного набора лучей, или светового поля, располагающееся на реальной сцене.

Компьютерные камеры выбирают световое поле совершенно другим образом для создания новых полезных форм информации. В компьютерной камере объединяются понятия фотокамеры и компьютера. В ней используется новая оптика для отображения нетрадиционным образом лучей светового поля в пиксели детектора. Например, в компьютерной камере желтому лучу, который традиционной камере прошел бы прямо в детектор, назначается особый пиксель. Кроме того, можно изменить яркость и спектр луча до его получения пикселем, например, поменять цвет с желтого на красный.

Во всех случаях, поскольку зафиксированное изображение является оптически закодированным, было бы трудно интерпретировать его в исходной форме. Однако в компьютерном модуле об оптике известно все, что требуется. Поэтому он может расшифровать зафиксированное изображение, чтобы произвести новые типы изображений, которые могут оказать благоприятное воздействие на зрительную систему человека, наблюдающего за изображениями, или компьютера, анализирующего изображения для интерпретации сцены.

В лаборатории компьютерного зрения Колумбийского университета разработано несколько типов компьютерных камер. Над разработкой компьютерных камер и родственных технологий в мире работает еще несколько исследовательских групп. В обработке изображений можно выделить несколько измерений: пространственное разрешение, временное разрешение, спектральное разрешение, поле обзора, динамический диапазон и глубину. Каждая из рассматриваемых в статье компьютерных камер разработана в ходе исследований какого-либо из этих измерений.

Майкл Кохен и Ричард Сцелиски (Michael F. Cohen, Richard Szeliski, Microsoft Research) представили статью "Камера момента" ("The Moment Camera").

До появления фотокамер фиксация событий и обеспечение визуальной истории мира входили в число обязанностей художников. Хотя раннее искусство большей частью посвящалось религии и мифам, с 16-го века голландские художники начали изображать сцены обычной жизни, что типично, например, для живописи Питера Брейгеля. Хотя никто не может полагать, что все действия, изображенные на его полотнах, происходили в одно и то же мгновение, Брейгель смог успешно зафиксировать моменты времени.

Понятие момента является ключевым и в названии этой статьи, и в предыдущем предложении. Что понимается под термином "момент" в данном контексте? Для иллюстрации этого понятия можно провести ось от реально существующей действительности к ее субъективному восприятию. На конце реально существующей действительности фотограф обеспечивает некоторое подобие объективной визуальной записи события. Одно и то же визуальное событие каждым из нас воспринимается по-разному. На конце субъективно воспринимаемой действительности находится личное восприятие внешних воздействий, называемое в философии первичными ощущениями (qualia, см. http://plato.stanford.edu/archives/sum2003/entries/qualia/). Где-то неподалеку от объективного конца оси находится субъективная точка, называемая авторами статьи моментом. В то время как первичное ощущение является субъективным и персональным, момент субъективен, но универсален.

Например, человек проводит 10% времени своего бодрствования с закрытыми глазами. В нормальном состоянии человек моргает 20 раз в минуту, и каждый раз закрывает глаза в среднем на четверть секунды. Тем не менее, глядя на своих друзей, мы видим их с открытыми глазами, мы никогда не видим их закрытых глаз, если только специально не концентрируемся на их моргании. С другой стороны, фотографии друзей часто удивляют нас, поскольку на них они выходят с закрытыми глазами, как показано на рисунке. Довольно нелепый вид закрытых глаз, очевидно, не отражает момент, поскольку не соответствует тому, что мы привыкли видеть у своих друзей. В отличие от этого, на второй фотографии зафиксирован момент.

С появлением фотокамеры в середине 19-го века искусство начало отходить от реалистичных изображений к более абстрактным областям импрессионизма, кубизма и более чистых абстракций. Фотокамера, способная фиксировать мгновения во времени, не может (за редкими исключениями) запечатлеть моменты.

При соединении с вычислениями и пользовательским интерфейсом цифровые камеры могут вернуть нам возможность фиксации моментов, а не мгновенных снимков. Такие вычислительные камеры или системы вычислительной фотографии могут предоставить массу возможностей и фотографам-профессионалам, и любителям.

Описываемая в статье гипотетическая камера момента содержит новые механизмы фиксации света, которые могут облегчить исследования и разработки в областях компьютерной графики, компьютерного зрения и подобласти визуализации на основе изображений.

Следующая статья называется "Световые поля и компьютерная обработка изображений" ("Light Fields and Computational Imaging"). Ее автор Марк Левой (Marc Levoy, Stanford University).

Научные открытия часто инициируются изобретениями новых инструментов, таких как телескоп, микроскоп или циклотрон. Вероятно, наиболее важным научным инструментом последних 50 лет является цифровой компьютер. Наряду со многими другими видами использования компьютеров, объединение компьютеров с цифровыми сенсорами привело к созданию нового мощного набора инструментальных средств, поддерживающих компьютерную обработку изображений (computational imaging).

Использование компьютеров при формировании изображений революционизирует возможности наблюдения и анализа реального и рукотворного миров в самых различных научных областях, от скважинной сейсмотомографии (borehole tomography) в геофизических исследованиях до конфокальной микроскопии (confocal microscopy) в биологических науках. Многие методы обработки изображений применяются к видимой части спектра (visible wavelengths), и многие из них относятся к потокам лучей в пространстве.

Хотя идея о том, что лучи "протекают" сквозь среду, возникала еще в древности, только в 1846 г. Майкл Фарадей (Michael Faraday) в своей лекции "Thoughts on Ray Vibrations" первым предложил интерпретировать лучи как поле. Предложение Фарадея, основанное на его предыдущих работах по теории магнетизма, было правильным, но, будучи скорее экспериментатором, а не математиком, он не смог формализовать свои идеи. (О наиболее значительных результатах Майкла Фарадея можно прочитать в замечательной статье Иг.Тамма "Руководящие идеи в творчестве Фарадея", написанной им в честь столетия открытия электромагнитной индукции и опубликованной в журнале "Успехи физических наук" в 1932 г.

28 лет спустя требуемую формализацию обеспечил Джеймс Клерк Максвелл (James Clerk Maxwell) в своих уравнениях, сделавших его знаменитым. Эти уравнения, примененные к результатам Пьера Бугера (Pierre Bouguer), Иоганна Ламберта (Johann Lambert) и др. в области теории света, привели к появлению в первой половине 20-го века потока работ в области теоретической фотометрии. Одним из наиболее заметных достижений явилась изданная в 1950 г. книга Субрахманьяна Чандрасекара (Subrahmanyan Chandrasekhar) "Radiative Transfer", посвященная передаче и рассеиванию световой энергии (в 1983 г. Субрахманьян Чандрасекар получил Нобелевскую премию за результаты в области физических процессов эволюции звезд). В литературу, посвященную компьютерной графике, эту работу привнес Джеймс Каджия (James Kajiya) в своей известной статье "The Rendering Equation".

В число приложений фотометрии, считавшихся полезными в начале эпохи электричества, входили исследования в области искусственного освещения поверхностей. На основе результатов этих исследований Андрей Александрович Гершун определил понятие светового поля. В своей книге "Световое поле", изданной в Москве в 1936 г., а затем переведенной на английский язык и изданной в сокращенном варианте в 1939 г. в Journal of Mathematics and Physics, Гершун установил, что количество света, поступающего в точки пространства, плавно изменяется от одной точки к другой (за исключением явных границ - поверхностей или теней) и, следовательно, может характеризоваться с помощью численных методов и аналитической геометрии. В своих работах, выполненных до наступления эпохи цифровых компьютеров, Гершун не имел возможности измерить световое поле. Однако он смог получить распределения облучения, наблюдаемые на поверхностях при их освещении источниками света различной формы.

С появлением компьютеров, цветных дисплеев и недорогих цифровых сенсоров теперь мы можем фиксировать световое поле Гершуна, манипулировать им и отображать его. С тех пор, как понятие светового поля 10 лет тому назад начали применять в компьютерной графике (в число основоположников этого подхода входит и автор данной статьи), исследователи используют его для перемещения между сценами без создания их трехмерных моделей, для цветокоррекции этих сцен без наличия знаний о свойствах поверхностей, для перефокусировки готовых фотографий, для создания не перспективных панорам и для построения трехмерных моделей сцен на основе их нескольких изображений.

Далее в статье приводится обзор современных исследовательских работ в области построения устройств компьютерной обработки изображений. Во всех этих устройствах, так или иначе, используются принципы фиксации световых полей.

Последняя статья тематической подборки написана Полом Дебевеком (Paul Debevec, University of Southern California). Статья называется "Виртуальная кинематография: компьютерная цветокоррекция" ("Virtual Cinematography: Relighting through Computation").

Первая сохранившаяся фотография хранится в контейнере без доступа кислорода в Техасском университете г. Остин. Изображение является довольно нечетким, и чтобы разглядеть крышу деревенского дома ее создателя, Жозефа Нисефора Ньепса (Joseph Nic?phore Ni?pce), требуется некоторое усилие.

Однако это усилие ведет нас к абсолютной и поразительной реальности. Благодаря технологии фотографии световое изображение, возникшее во Франции в 1826 г., может быть воспроизведено за две тысячи миль от места съемки спустя два столетия. Эта возможность обеспечивать образы другого времени и пространства революционизировала способы обмена информацией, описания событий и документирования истории.

Используя терминологию цифровой обработки изображений, мы можем расценивать первую фотографию как двумерный массив значений пикселей, каждый из которых представляет количество света, поступившего в фотокамеру из некоторого угла. Если проиндексировать значения пикселей, основанных на горизонтальном (θ) и вертикальном (φ) компонентах этого угла, то можно представить фотографию в виде двумерной функции P(θ,φ).

Современные методы фотографии обеспечивают возможность фиксации существенно больших объемов информации о световом излучении сцены. В цветной фотографии фиксируется еще одно измерение информации: количество отраженного света в диапазоне волн (λ). Поэтому цветное изображение можно описать трехмерной функцией P(θ,φ,λ). В киноизображениях фиксируется, каким образом отраженный свет изменяется во времени, что добавляет к соответствующей функции еще одно измерение t.

В большинстве сегодняшних систем формирования изображений - кинематографе и телевидении - световое излучение фиксируется и воспроизводится во всех этих измерениях, обеспечивая еще более впечатляющее восприятие сцен другого времени и пространства.

Большинство новшеств в технологии фиксации изображений обеспечивают способы получения функции изображения с улучшенными разрешением, диапазоном и точностью. Например, методы обработки изображений с большим динамическим диапазоном (high dynamic range imaging, HDRI) позволяют увеличить диапазоны значений, фиксируемых в функции изображения, точно сохраняя диапазоны яркости от едва освещенного интерьера до прямого солнечного освещения. Методы панорамной и многонаправленной (omnidirectional) фотографии обеспечивают увеличение диапазона фиксируемых значений θиφ, фиксируя в некоторых случаях всю область отраженного света. В системах крупноформатной фотографии существенно увеличивается угловое разрешение, что позволяет получить десятки тысяч образцов по осям θиφ. В системах мультиспектральной и гиперспектральной фотографии повышается разрешение и диапазон значений , а в системах высокоскоростной фотографии увеличивается разрешение по оси t.

Если говорить о будущем цифровой фотографии, то следует задаться вопросом о возможности добавления новых измерений в информацию о сцене, которые можно было бы зафиксировать. В 1991 г. Эдвард Адельсон (Edward H. Adelson) и Джеймс Берген (James R. Bergen) опубликовали статью, в которой было представлено математическое описание совокупного освещения сцены в виде семимерной пленоптической (plenoptic) функции P (x, y, z, θ, φ, &lambda, t). Четыре последних измерения, как и раньше, представляют азимут, наклонение, длину волны и время отраженного луча света. Дополнительные три измерения (x, y, z) указывают на позицию в трехмерном пространстве, в которой воспринимается этот луч. В случае первой фотографии точка (x, y, z) была бы фиксирована в оптическом центре рудиментарной фотокамеры Ньепса.

Эта простая функция содержит внутри себя все фотографии, которые только можно сделать. Если бы было можно запрашивать пленоптическую функцию с заданием соответствующих значений x, y, z, θ, φ, λ, t, то мы могли бы конструировать идеальные цветные изображения (или фильмы) всех событий истории.

Далее в статье подробно обсуждаются подходы к применению пленоптической функции в приложениях цветокоррекции изображений и других приложениях компьютерной фотографии.

Единственная большая статья августовского номера называется "Коллективная фильтрация спама с использованием сетей электронной почты" ("Collaborative Spam Filtering Using E-Mail Networks"). Ее представили Джозеф Конг, Бехман Резей, Нима Саршар, Ввани Ройчоудхари и Оскар Бойкин (Joseph S. Kong, Behnam A. Rezaei, Nima Sarshar, Vwani P. Roychowdhury, University of California, Los Angeles, P. Oscar Boykin, University of Florida).

Широко распространенное использование Internet привело к появлению нескольких видов крупномасштабных социальных сетей, в особенности, сетей электронной почты. К сожалению, за огромные удобства, предоставляемые электронной почтой, приходится платить: хотя опорная связность сети является скрытой, что делает почти невозможным составление исчерпывающих каталогов индивидуальных списков контактов, сами адреса электронной почты можно легко получить из общедоступных документов.

Спамеры используют эту уязвимость для затопления пользователей громадным количеством ненужной электронной почты. Несмотря на всеобщие протесты против спама, эта проблема продолжает нарастать, досаждая пользователям Internet во всем мире. В одном из последних исследований получены следующие данные. 35% пользователей Internet сообщило, что более 60% присланных им почтовых сообщений содержало спам. 28% пользователей заявило, что они тратят более 15 минут в день на чистку почты.

Исследователи как в индустрии, так и в академии в целом соглашаются с тем, что против спама нет серебряной пули, и что исследователи должны разрабатывать новые методы фильтрации и интегрировать их с существующими методами для создания многоуровневых систем, которые смогут ограничить спам.

Один из обещающих подходов состоит в том, чтобы попытаться сыграть со спамерами в их собственную игру: обнаруживать спам и останавливать его распространение путем использования тех же сети электронной почты и сервисной инфраструктуры, которые используют спамеры. Спамеры посылают одинаковые или похожие сообщения тысячам пользователей. Авторы статьи разработали систему, которая позволяет пользователям опрашивать всех своих клиентов электронной почты для определения того, что какой-либо другой пользователь в системе уже пометил подозрительное письмо как спам. Система является распределенной и основанной на сообщениях, что позволяет пользователям запрашивать информацию без перегрузки сети.