Реальный мир визуальных эффектов

Сергей Кузнецов

Обзор июльского, 2009 г. номера журнала Computer (IEEE Computer Society, V. 42, No 7, Июль 2009).

Темой июльского номера журнала в этом году являются визуальные эффекты и их применение в кинематографии, на телевидении, в индустрии компьютерных игр и т.д. Редактором тематической подборки является Оливер Бимбер (Oliver Bimber, Bauhaus University, Weimar, Germany). Его вводная заметка называется «Визуальные эффекты и другие возможности» («Visual Effects and Beyond»).

Многим нравится фильм «Загадочная история Бенджамина Баттона». В частности, не может оставить равнодушным поразительная работа создателей фильма по абсолютно реалистичному представлению лица Брэда Питта от старости к молодости. Всем известно, насколько легко понять, показывается ли в фильме реальное человеческое лицо. В упомянутом фильме у зрителя не возникает ни малейшего ощущения применения специальных эффектов. И это совершенно удивительно, поскольку первые пятьдесят минут фильма лицо Питта полностью представляется компьютерной графической моделью. Вот чего достигли сегодня возможности визуальных эффектов.

Визуальные эффекты играют большую роль в современном сторителлинге (прошу прощения за транслитерацию, но это, как я выяснил, термин, введенный в 1992 г. Дэвидом Армстронгом (David Armstrong) в книге «Managing by Storying Around»; в русскоязычной литературе термин используется именно в такой форме). Они применяются не только в постановочных кинофильмах, но также и в телевизионных передачах, компьютерных играх и в парках аттракционов. Визуальные эффекты становятся все более реалистичными на основе применения современных мощных процессоров, методов компьютерной графики и технологии отображения.

Однако требования к качеству и интерактивности сильно различаются в зависимости от приложений. В кинофильмах требуется исключительно высокое качество визуальных эффектов, для чего обычно используются чрезвычайно мощные компьютерные средства. Визуальные эффекты в телевизионных передачах и компьютерных играх должны обеспечиваться с частотой не менее 25-60 Гц. В случае компьютерных игр этого можно достичь на обычных домашних ПК, игровых приставках и все более часто в мобильных телефонах. Во многих парковых аттракционах визуальные эффекты комбинируются со специальными эффектами. Как и в компьютерных играх, в некоторых визуальных эффектах для аттракционов поддерживается интерактивность. Но, в отличие от игр, телевидения и кинофильмов, они могут принести участникам ощущения, которые невозможно обеспечить при демонстрации визуальных эффектов на плоском экране.

Быстрое развитие технологии визуальных эффектов послужило поводом для посвящения соответствующим методам отдельного выпуска журнала Computer. Обычно эти методы остаются незамеченными, поскольку визуальные эффекты настолько органичны, что часто просто не задумываешься, что они создаются компьютером.

Первая основная статья тематической подборки называется «Не верьте своим глазам: новейшие визуальные эффекты» («Don’t Trust Your Eyes: Cutting-Edge Visual Effects») и написана Дугом Роублом и Нифизом Бин Зафаром (Doug Roble, Nafees Bin Zafar, Digital Domain).

Если взглянуть на историю кинематографии за последние 30 лет, то можно выделить три разных периода развития визуальных эффектов. 1980-е гг. были «золотым веком» реальных визуальных эффектов. Это десятилетие началось с фильмов «Империя наносит ответный удар» («The Empire Strikes Back») и «Инопланетянин» («E.T.: The Extra-Terrestrial»), которые показали, чего можно добиться при использовании сложных моделей, макетов и систем управления движением кинокамер, и закончилось блокбастерами со спецэффектами «Бэтмен» («Batman») и «Индиана Джонс и последний крестовый поход» («Indiana Jones and the Last Crusade»).

1990-е гг. ознаменовали расцветом эффектов CGI (computer-generated imagery, компьютерная анимация): постоянно возрастающая мощность компьютеров привела к созданию инструментальных средств, которые позволили разработчиками визуальных эффектов делать вещи, невозможные при применении физических методов. В фильмах, подобных «Терминатор 2: Судный день» («Terminator 2: Judgment Day»), использовался большой объем компьютерной анимации наряду с традиционными эффектами. Терминатор Арнольда Шварценеггера (Arnold Schwarzenegger) модели 101 создавался при помощи грима и сложного макетирования, но уже более совершенный образец модели T-1000, который играл Роберт Патрик (Robert Patrick), был порождением CGI.

Хотя в этом фильме верх одержал Арнольд, это была кратковременная победа традиционных эффектов, которые стали быстро вытесняться CGI. К концу 1990-х этот процесс завершился. Такие фильмы, как «Звездные войны: Эпизод 1 – Скрытая угроза» («Star Wars: Episode 1—The Phantom Menace») и «Матрица» («The Matrix»), изобиловали визуальными эффектами, созданными исключительно с использованием CGI, и публика была в восторге.

В последнее десятилетие использование CGI быстро расширялось и углублялось, а традиционные эффекты приходили в упадок. Недавние трилогия «Властелин колец» («Lord of the Rings») и фильм «Трансформеры» («Transformers») представляют собой наглядные примеры господства CGI, и, по-видимому, это отражается в изменениях, происходящих, в частности, в компании Digital Domain.

Несмотря на свое название, большая часть деятельности компании поначалу посвящалась традиционным эффектам. В 2000 г. в компании имелся крупный цех, производивший поразительно точные физические модели. Также имелись две большие сцены, на которые можно было устанавливать камеры с управлением движением для точной съемки моделей при разных условиях освещенности. Оставшуюся часть здания занимали комнаты, заполненные специалистами по компьютерной графике, которые монтировали отснятые материалы с цифровыми эффектами, формируя изображения.

Эти комнаты постепенно вытеснили модельный цех и платформы. Оставшийся небольшой участок сцен, в основном, используется для цифрового сканирования исполнителей и объектов. Модельный цех больше не существует; при потребности в моделях их разработка заказывается на стороне. Почти все создаваемые эффекты генерируются с использованием компьютеров. И на самом деле, это общая тенденция киноиндустрии: когда компания Industrial Light & Magic (ILM) перебазировалась из Марин (Marin County) в Пресидио (Presidio) в Сан-Франциско, она отказалась от своих крупных модельных цехов.

Реальные визуальные эффекты старой школы. Перевертывание 18-колесного грузовика в «Темном рыцаре».

Однако реальные визуальные эффекты исчезли не совсем. Например, в фильме 2008-го года «Темный рыцарь» («The Dark Knight») директор фильма Кристофер Нолан хотел получить правдоподобие, достижимое только с помощью таких эффектов. Как показано на рисунке, его группа спецэффектов использовала сложный такелажный механизм для перевертывания грузовика на улице в деловой части Чикаго в одной из центральных частей фильма. Постановка эффектов старой школы исключительно опасна и расходна, но она гарантирует реалистичность.

Тем не менее, следующее десятилетие знаменует начало эпохи CGI-эффектов. Методы CGI достигли такого уровня развития, что для внешних наблюдателей часто бывает трудно распознать, в каких сценах используются визуальные эффекты. Примером является упоминавшийся ранее виртуальный образ постаревшего Брэда Питта в фильме «Загадочная история Бенджамина Баттона», создававшийся специалистами Digital Domain. Следующую статью написали Грэхем Томас и Оливер Грау (Graham Thomas, Oliver Grau, BBC R&D). Статья называется «Виртуальная графика в производстве телепрограмм» («Virtual Graphics for Broadcast Production»).

Виртуальная графика, т.е. графика, генерируемая с использованием компьютеров и появляющаяся в составе реальной сцены, теперь является общераспространенным компонентом телевизионных программ. Начиная с простейшей карты погоды, вставляемой на голубой экран за спиной ведущего программы, и кончая сложной трехмерной графикой, показывающей положения бегунов на дистанции или ситуацию «вне игры» на футбольных состязаниях, эта графика помогает производителям телевизионных программ донести для телезрителей информацию в простой для понимания и визуально наглядной форме. Кроме того, виртуальная графика используется как творческий инструмент, на котором могут основываться новые виды программ. Использование этой графики может позволить сократить стоимость производства обычных программ за счет замены частей декораций компьютерными изображениями.

Новые разработки обещают еще больше расширить области проникновения трехмерной графики и помочь развитию кросс-платформенного контента, поскольку 3D-графика всегда была и остается основной опорой индустрии развлечений. Хотя большинство элементов технологии, используемой для добавления виртуальной графики к телевизионным программам, являются теми же, что используются в индустрии кинематографии, их использования на телевидении существенно отличается скоростью производства и уровнем совершенства. В то время как на создание кинофильма обычно тратится много времени, и бюджет позволяет поддерживать многомесячное компьютерное редактирование, при производстве телевизионных программ бюджет редко позволяет поддерживать этот уровень редактирования. Кроме того, в данном случае не требуется производить контент с высоким уровнем разрешения. Многие виды программ, нуждающихся в виртуальной графике, транслируются в реальном времени, или, по крайней времени, время от их записи до трансляции не должно превышать несколько часов.

Программа BBC BAMZOOKi, в которой виртуальные создания состязаются с детьми в студии в реальном времени

В любой программе, рассчитанной на существенное взаимодействие реального и виртуального контента, также требуется вставка виртуального контента в изображение в реальном времени в течение записи, так чтобы оператор мог соответствующим образом собирать общую картинку, а участники программы могли видеть, как они взаимодействуют с виртуальным контентом. В статье, главным образом, обсуждается использование виртуальной графики при производстве телепрограмм. Авторами статьи «Визуальные эффекты в компьютерных играх» («Visual Effects in Computer Games») являются Ксюбо Янг, Мило Йип и Ксиаою Ксу (Xubo Yang, Shanghai Jiao Tong University, Milo Yip, Xiaoyue Xu, Ubisoft Shanghai Studio).

Компьютерные игры дали жизнь индустрии, которая постоянно наращивает объем интерактивного контента и обеспечивает новые впечатления от процесса игры. Периодически появляются и рекламируются новые игры. Кроме новшеств в основной сюжетной линии и режимах игры, в рекламе новых игр часто упоминаются визуальные эффекты. Например, у игры Far Cry 2 компании Ubisoft имеется много увлекательных особенностей, таких как изменяющиеся погодные условия, освещение и т.д. Одной из отличительных черт этой игры является впечатляющий механизм распространения огня, который обеспечивает возможность новых впечатлений от процесса игры: игроки могут использовать в бою бутылки с зажигательной смесью и огнеметы; огонь распространяется в соответствии с законами природы и направлением ветра, что, в конечном счете, может приводить к большим пожарам.

В широком смысле, в компьютерных играх все графические эффекты являются визуальными. Эти эффекты являются основными элементами игр при моделировании реального или искусственно созданного мира. Однако авторы опираются на более узкое определение визуальных эффектов, имея в виду графические эффекты, используемые для специальных целей. Эти эффекты часто моделируют некоторые явления в человеческой жизни и могут вызывать у игрока особое эмоциональное ощущение за счет, например, использования объемного тумана для создания духа таинственности.

Визуальные эффекты в компьютерных играх часто повторяют те, которые уже применялись в кино, но с другими ограничениями на качество, интерактивность и время визуализации. Для кинофильмов визуальные эффекты синтезируются в изображения с разрешением до 4,096 ? 2,016 для большого экрана. Точка обзора для каждого кадра фильма является предопределенной, и аудитория не может на нее воздействовать. Результирующие изображения подготавливаются в режиме офлайн на специальных кластерах и настраиваются в киностудиях на стадии редактирования.

Для игр требуются визуальные эффекты только приемлемого качества с разрешением примерно 1,280 × 720 для персональных компьютеров или телевизоров. Игроки могут изменять свою точку обзора. Графические карты, встроенные в персональный компьютер или игровую приставку, синтезируют каждый кадр в реальном времени. В киноиндустрии на подготовку кадра можно потратить от нескольких часов до нескольких дней, а в видеоиграх частота смены кадров теперь составляет от 1/25 до 1/60 секунды. При расходе несколько десятков миллисекунд на подготовку каждого кадра необходимо визуализировать реалистичные визуальные эффекты, на которые могут воздействовать игроки, наблюдающие за ними с любой точки обзора. По сравнению с офлайновыми методами визуализации, используемыми в киноиндустрии для создания визуальных эффектов, методы реального времени, требуемые для генерации игровых визуальных эффектов, обычно обеспечивают лишь аппроксимацию, направленную на сокращение объема вычислений в реальном времени при поддержке качества графики на визуально приемлемом уровне.

Последнюю статью тематической подборки – «Смягчение границ между фантазией и реальностью» («Melting the Boundaries between Fantasy and Reality») – представили Скотт Троубридж и Кристофер Стейплтон (Scott Trowbridge, Walt Disney Imagineering, ChristopherStapleton, Simiosys).

Искусство и наука создания иллюзий в индустрии иммерсионных развлечений направлены на воздействие на все чувства человека. Крайним примером иммерсионных развлекательных предприятий являются парки аттракционов, в которых разработчики и сценаристы погружают публику в некую воспринимаемую ей реальность, действительную или представляемую. Это несравнимо ни с одним другим видом развлекательных предприятий, поскольку иллюзия может поддерживаться для тысяч людей в течение нескольких минут, целого дня или даже недели. При наличии таких объемов зрительского критического внимания важной проблемой является применение в парках аттракционов машинно-генерируемого контента. Для успешного создания зрительских ощущений критично незаметное для пользователей склеивание физической реальности с авторской виртуальной фантазией. Эта иллюзия воздействует эффективно только в тех случаях, когда автор может приводить в действие зрительскую воображаемую реальность и управлять ей.

В статье авторы применяют свои опыт и результаты исследований в областях организации парков аттракционов и имитационного моделирования для описания того, как наука объединяется с фантазией для устранения границ между воображением автора сценария и неизбежной реальностью физического мира, а также слияния машинно-генерируемого контента с реальной средой иммерсивного развлечения.

Вне тематической подборки опубликованы две большие статьи. Муххамад Али Бабар и Ян Гортон (Muhammad Ali Babar, Lero—the Irish Software Engineering Research Centre, Ian Gorton, Pacific Northwest National Laboratory) представили статью под названием «Анализ архитектур программного обеспечения: практическое состояние» («Software Architecture Review: The State of Practice»).

Предположим, что у вас завершается работа над программной архитектурой некоторой преимущественно программной системы стоимостью в несколько миллионов долларов. На чем основывается ваша уверенность в том, что архитектурные решения, на которых будет основываться разработка, приведут к созданию системы, отвечающей поставленным бизнес-целям? Насколько вы уверены в том, что проект не затянется из-за технических переделок уже готовых компонентов, потребность в которых вызывается неудачными архитектурными решениями? Все ли участники проекта доверяют предлагаемому решению? Является ли опыт предыдущего использования подобных решений достаточным основанием для принятия данного архитектурного решения?

Анализ архитектуры является эффективным способом обеспечения качества разработки и решения архитектурных проблем. Основными целями анализа программной архитектуры являются оценка возможности архитектуры обеспечить удовлетворение требованиям качества и определение потенциальных рисков.

Для поддержки организаций, выполняющих анализ, несколько рабочих групп, включая группу по анализу и оценке программных архитектур (Software Architecture Review and Assessment, SARA, выпустило отчеты, обобщающие практику выполнения такого анализа. Однако, кроме отчетов от AT&T, Avaya Labs и Lucent Technologies, мало где говорится о состоянии дел в области анализа архитектур в софтверной индустрии в целом. Для исследования этого вопроса авторы организовали опрос, позволяющий оценить практическое состояние дел в этой области в сообществе инженерии программного обеспечения.

В своем исследовании, охватывающем разные группы разработчиков, авторы опирались на вопросник, предназначенный для получения качественной и количественной информации от членов различных организаций. Вопросник разрабатывался на основе:

• расширенного анализа литературы и опыта предыдущих работ по сравнению подходов к анализу программных архитектур;
• опыта по разработке и оценке архитектур крупомасштабного программного обеспечения;
• обсуждений с опытными архитекторами из ряда организаций.

Вопросник состоял из 20 вопросов, направленных на исследование опыта анализа архитектур, и шести вопросов относительно демографии респондентов и их организаций. Выбор состава участников опроса не был случайным. Использовалась так называемая нерепрезентативная выборка (nonprobabilistic sampling). Основным недостатком этого метода является то, что он не обобщается статистически на обследуемое сообщество.

Выло выбрано 235 участников, профессионально связанных с анализом программных архитектур. Вопросники рассылались по электронной почте, и участников просили предоставить ответы также по электронной почте. После двух напоминаний было получено 88 ответов.

Авторов вопросника, прежде всего, интересовало, насколько формально определен процесс анализа архитектуры в организациях-участниках опроса. 56% участников ответили, что в их организациях процесс анализа формально не определен, 41% участников используют формально определенный процесс, а у 3% участников процесс анализа меняется от проекта к проекту.

Следующий вопрос касался методов, используемых при анализе архитектуры программного обеспечения. Оказалось, что наиболее распространены две рановидности методов: логические рассуждения на основе предыдущего опыта (83%) и прототипирование (70%). Многие участники также упоминали использование сценариев (54%) и таблиц контрольных проверок (checklist, 40%). Только 5% участников ответило, что при оценке архитектурных решений в их организациях используются математические модели.

Задавался также вопрос о критериях, применяемых компаниями при выборе конкретных методов анализа архитектуры. В своих ответах респонденты упоминали различные технические, организационные, социальные и связанные с бизнесом факторы, которые влияют на выбор конкретных методов. К числу основных факторов, по мнению участников опроса, относятся следующие:

• атрибуты качества, такие как эффективность, эксплуатационная пригодность и безопасность;
• размер и сложность системы;
• доступность персонала, имеющего опыт применения соответствующих методов анализа;
• временные рамки и бюджет проекта;
• требования заказчиков;
• политика организации;
• предпочтения менеджера проекта.

Однако ни один респондент ничего не сказал о применении при выборе методов анализа каких-либо стандартов или руководств.

В исследовательском сообществе анализа архитектур разработано несколько специальных методов, предназначенных для поддержки процесса анализа. Такие методы, как Scenario-Based Architecture Analysis Method, SAAM, Architecture Level Maintainability Analysis, ALMA, the Architecture Tradeoff Analysis Method, ATAM и Performance Analysis of Software Architecture, PASA, широко обсуждались в литературе по инженерии программного обеспечения. Авторы статьи хотели узнать, насколько практики знакомы с этими и другими методами анализа. Оказалось, что 24% опрошенных знали про SAAM и ATAM, 17% – про PASA, и только 6% – про ALMA. Еще хуже дела обстоят с использованием этих методов: 5% респондентов говорили об использование SAAM и ATAM, и только один респондент упомянул о применении PASA и ALMA.

В целом, результаты обзора отчетливо демонстрируют потребность в передаче исследовательских результатов в практическое использование. Для ускорения этого процесса требуется проверка существующих и появляющихся подходов к анализу архитектур в производственных проектах разного уровня масштабности.

Последняя большая статья июльского номера называется «Канальная электронная почта: социально-технический ответ на спам» («Channel E-mail: A Sociotechnical Response to Spam») и написана Брайаном Витвортом и Тонгом Лиу (Brian Whitworth, Tong Liu, Massey University – Albany, Auckland, New Zealand).

На сегодняшний день около 80% из 460 миллиардов ежегодно посылаемых сообщений электронной почты является спамом – электронным мусором, на передачу и обработку которого впустую тратятся ресурсы Internet и пользовательских компьютеров. Эти ресурсы тратятся даже в тех случаях, когда спам удается успешно отфильтровать. В первый раз объем спама превысил объем полезных сообщений в мае 2003 г. – поставщикам услуг Internet, использующим один сервер для передачи электронной почты клиентам, стал нужен еще один сервер для удаления поступающего спама.

Темпы роста «мусорного» трафика в последние годы значительно увеличились: от 20 до 40% в 2002-2003 гг., на 60-70% в 2004 г., на 86% в 2006 г. и на 92% в 2007 г. Увеличилась и сложность проблемы борьбы со спамом. Со спамом в картинках не справляются текстовые фильтры, спам-боты собирают электронные адреса на Web-сайтах, и реальные пользователи становятся «зомби»-спаммерами. Спам мигрирует и в другие приложения, такие как системы мгновенного обмена сообщениями и чаты (и называется SPIM и SPAT соответственно), и на другие платформы, например, в мобильные телефоны. По своей сетевой вредоносности спам теперь превосходит вирусы и является самым большим недугом электронной почты.

Ужасают экономические последствия спама. В 2003 г. компании США понесли убыток от спама в 10 миллиардов долларов, а в 2004 г. убыток в расчете на одного служащего составил $1934, не считая персонала IT, расходов на программное обеспечение и аппаратуру и т.д. По оценкам на 2005 г., потери в мировом масштабе составляют 50 миллиардов долларов.

Хотя глобальная система электронной почты эффективна с технической точки зрения (информация передается нормально), она неэффективна с точки зрения общества (содержательная информация передается все хуже и хуже). И вряд ли странно, что система, разработанная на основе чисто технических требований до того, как Internet стал общественной средой, не выполняет должных социальных функций.

Спам – это старая социальная проблема в новом техническом обличие, фактически, это электронное воплощение «трагедии общин». Это социально-техническая проблема, которую невозможно разрешить ни чисто техническими (например, спам-фильтрами), ни чисто социальными средствами (например, посредством законов). Для решения социально-технических проблем требуются социально-технические решения. И в качестве такового решения авторы предлагают канальную электронную почту.

При применении социально-технического подхода должны соблюдаться коммуникационные права человека, гарантирующие, что:

• для обмена сообщениями электронной почты требуется взаимное согласие граждан;
• любой человек имеет право отвергнуть общение;
• любой человек может запросить общение по электронной почте, послав краткий запрос, идентифицирующий его самого и цели общения;
• общение происходит в виде поочередного обмена сообщениями, без каких-либо дальнейших предуведомлений;
• любой участник может в любой момент прекратить общение.

В канальной электронной почте эти требования поддерживаются за счет создания специального канального объекта, через который посылаются сообщения. Вместо управления сообщениями пользователи управляют каналами, через каждый из которых можно обмениваться многими сообщениями. Канал, созданный на основе взаимного согласия, обеспечивает участникам возможность свободно обмениваться сообщениями, как и при использовании традиционной электронной почты. Если не открыт ни один канал, пользователи должны договариваться о создании первого канала, используя специальные небольшие сообщения, содержащие информацию о полномочиях. Открытие канала – это отдельный шаг, напоминающий процедуру рукопожатия перед началом переговоров с глазу на глаз. Эту процедуру установления связи можно автоматизировать, чтобы пользователи только посылали сообщения, а полномочиями управлял компьютер.

В статье обсуждается, каким образом канальная электронная почта может помочь в борьбе со спамом.