Интеллектуальные видеокамеры

Сергей Кузнецов

Обзор майского, 2014 г. номера журнала Computer (IEEE Computer Society, V. 47, No 5, May 2014).

Авторская редакция.
Также обзор опубликован в журнале «Открытые системы»

Майский номер посвящен интеллектуальным сетям видеокамер (Smart Camera Networks). Приглашенными редакторами, написавшими вводную заметку с таким же названием, являются Мартин Рейсслейн, Бернхард Риннер и Амит Рой-Чоудхари (Martin Reisslein, Arizona State University, Bernhard Rinner, Alpen-Adria Universität Klagenfurt, Amit Roy-Chowdhury, University of California, Riverside).

Сети видеокамер, фиксирующих данные в частных и общественных средах, повсеместно распространены и применяются для обеспечения безопасности, выполнения аварийно-спасательных работ, контроля окружающей среды и т.д. Однако в большинстве приложений зафиксированные данные сохраняются и анализируются вручную. Задача ручной обработки этих данных чрезвычайно трудоемка, и было бы целесообразно и полезно наличие некоторого уровня автоматизации. Имеющиеся достижения в областях машинного зрения, видеосенсорного оборудования, встроенных компьютеров и сенсорных сетей привели к появлению технологии интеллектуальных сетей телекамер.

Интеллектуальные сети видеокамер – это работающие в режиме реального времени распределенные встраиваемые системы, выполняющие задачи машинного зрения с использованием нескольких видеокамер. Такие системы востребованы в разных областях приложений, но с их разработкой связан ряд аппаратных и программных проблем. Например, с позиций аппаратного обеспечения для создания сети видеокамер требуются энергоэффективные компактные вычислительные узлы, обладающие возможностью сохранять и обрабатывать видеоинформацию. С программистской точки зрения для таких сетей требуются масштабируемые, устойчивые и эффективные в вычислительном отношении методы анализа видеоданных. Системная архитектура интеллектуальных сетей видеокамер должна обеспечивать адаптивные контроль и координацию для поддержки гибкости, упрощения внедрения, обеспечения безопасности и конфиденциальности, а также управления промежуточным программным обеспечением, связывающего различные сенсорные модули, чтобы обеспечить управление данными и их обработку на общесистемном уровне.

В тематической подборке содержатся шесть статей, затрагивающие вопросы анализа видеоданных, системной архитектуры сетей видеокамер, организации сенсорных сетей и т.д.

Для надежного анализа видеоданных требуется построение моделей объектов, находящихся в области пространства, которая отображается видеокамерами. В статье Чин-Ху Чена, Рамы Челаппы, Жульен Фавр, Томаса Андриаччи, Грегория Курилло и Рузены Байчи (Ching-Hui Chen, Rama Chellappa, University of Maryland, College Park, Julien Favre, Thomas P. Andriacchi, Stanford University, Gregorij Kurillo, Ruzena Bajcsy, University of California) «Сети видеокамер для здравоохранения, обеспечения телепогружения и поддержки надзора» («Camera Networks for Healthcare, Teleimmersion, and Surveillance») эта задача обсуждается как для перекрывающихся сетей видеокамер, так и для сетей без перекрытия. К числу рассматриваемых в статье вопросов относятся технология безмаркерного захвата движения (markerless motion capture), позволяющая получать «сырые» данные, на основе которых строятся модели объектов, а также калибровка сетей видеокамер, требуемая для отображения объектов из плоскости изображений в трехмерный мир. Статья также содержит обзор существующих методов и систем в областях здравоохранения, телепогружения (teleimmersion) и надзора.

Рис. 1. Применение метода безмаркерного захвата движения для анализа подач мяча в теннисе. (a) Конфигурация наружной сети видеокамер, (b) результат трехмерного лазерного сканирования объекта (слева) и соответствующая сегментированная модель (справа), (c) отслеживание движений спортсмена.

В сетях видеокамер для приложений наблюдений требуется тщательная балансировка стоимости и производительности. В своей статье «Беспроводные интеллектуальные сети видеокамер для обеспечения надзора в местах общего пользования» («Wireless Smart Camera Networks for the Surveillance of Public Spaces ») Кевин Абас, Катя Образка и Кайо Порто (Kevin Abas, Katia Obraczka, University of California, Santa Cruz, Caio Porto, Universidade Federal do Rio de Janeiro) представляют таксономию беспроводных интеллектуальных сетей видеокамер. С использованием этой таксономии авторы классифицируют новейшие беспроводные системы наблюдения, а затем описывают систему SWEETcam (Solar Wi-Fi Energy-Efficient Tracking camera), которая ориентирована на максимизацию соотношения «стоимость-производительность» в приложениях видеонаблюдений.

Рис. 2. Системная архитектура SWEETcam. Использование Raspberry Pi дает возможность опираться на возможности ОС Linux и сохранять независимость от аппаратных средств. У микроконтроллера MSP430 имеется исключительно низкий уровень энергопотребления как в состоянии сна, так и в состоянии простоя.

Хотя сети видеокамер можно построить на основе специализированных систем управления видеокамерами (например, SWEETcam), пользователи все чаще носят с собой мобильные устройства со встроенными камерами, такие как смартфоны и планшеты. Андреа Прати и Файсал Куреши (Andrea Prati, University IUAV of Venice, Faisal Qureshi, University of Ontario Institute of Technology) представили статью «Интеграция пользовательских интеллектуальных камер в сети видеокамер: возможности и препятствия» («Integrating Consumer Smart Cameras into Camera Networks: Opportunities and Obstacles»), в которой исследуются возможности интеграции пользовательских интеллектуальных камер за счет использования инноваций в области мобильного технического зрения (в частности, новых методов машинного зрения и обработки изображений для мобильных устройств, оснащенных видеокамерами). Затем обсуждаются технические проблемы, возникающие при интеграции пользовательских камер в сети видеокамер: геометрическая калибровка, синхронизация времени, топология сети и т.д.

Рис. 3. Характеристики видеокамер, которые могут входить в интегрированную сеть. Основная проблема состоит в том, чтобы правильно сбалансировать требования к этим устройствам, в частности, требования к поворотным камерам (pan-tilt-zoom, PTZ) и к пользовательским мобильным устройствам.

Сжатие изображений (сompressive sensing, CS) и их разреженное представление (sparse representation) – это перспективные подходы к работе с «большими данными» в сетях видеокамер, в которых приходится иметь дело с очень большими объемами данных. Каушик Митра, Ашок Веерарагаван, Ричард Баранюк и Асвин Санкаранараянан (Kaushik Mitra, Ashok Veeraraghavan, Richard G. Baraniuk, Rice University, Aswin C. Sankaranarayanan, Carnegie Mellon University) в статье «Навстречу к сетям видеокамер, сжимающим данные» («Toward Compressive Camera Networks») исследуют подходы к обеспечению возможности работы с огромными объемами данных и масштабируемости в крупномасштабных сетях видеокамер на основе последних достижений в области CS. Авторы выделяют тенденции, выходящие за рамки отдельных приложений, и рассуждают о том, что применение методов CS может привести к полному изменению структуры сетей видеокамер.

Развивающаяся технология трехмерного видео требует очень большого объема вычислений, с которыми могут не справиться узлы сети видеокамер. Перенос вычислительной обработки трехмерного видео в облака может существенно разгрузить узлы сети камер. Статья Жангиу Гуана и Томмасо Мелодиа (Zhangyu Guan, Tommaso Melodia, State University of New York at Buffalo) «Интеллектуальные сети видеокамер с облачной поддержкой для обеспечения энергоэффективного потокового трехмерного видео» («Cloud-Assisted Smart Camera Networks for Energy-Efficient 3D Video Streaming») содержит обзор современных методов мультимедийных вычислений в облачной инфраструктуре. Представлены архитектуры мобильных облачных вычислительных сервисов, которые можно использовать в сетях видеокамер, а также соответствующие шаги обработки видеоданных – от кодирования видео до декодирования и организации потоков.

Рис. 4. Предположительная архитектура для поддержки потокового трехмерного видео в облачной инфраструктуре. Облачный сервер не только обрабатывает сырые данные, но также оптимизирует передачу потоков данных между отдельными камерами и устройствами отображения.

Для сетей видеокамер требуются приложения, облегчающие адаптацию к непредвиденным внешним условиям, изменению задач и ограниченности ресурсов. В статье «Самоперестраивающиеся интеллектуальные сети видеокамер» («Self-Reconfigurable Smart Camera Networks») Хуан Санмигель, Карен Щуп, Андреа Кавалларо, Кристиан Микелони и Джиан Люка Форести (Juan C. SanMiguel, Karen Shoop, Andrea Cavallaro, Queen Mary University of London, Christian Micheloni, Gian Luca Foresti, University of Udine) выделяют ключевые компоненты (камеры, сеть, среда, задачи и производительность) динамически изменяемой конфигурации сети видеокамер. Обсуждается также, каким образом эти взаимосвязанные компоненты могут допускать самоперестройку структуры системы, обеспечивая при этом решение основных проблем интеллектуальных сетей видеокамер: определение топологии и самокалибровку, распределение ресурсов и задач, а также активное наблюдение.

Рис. 5. Примерный сценарий организации самоперестраивающейся интеллектуальной сети видеокамер. В число возможных задач входят обнаружение, локализация и повторное опознание. Разнородные датчики обеспечивают полное покрытие отслеживаемой области с различными полями обзора (трапециями). Взаимодействие видеокамер позволяет передавать решение задачи видео-аналитики в наиболее подходящий узел. Узлы с более широкими полями обзора могут отслеживать движущиеся целевые объекты, а другие узлы могут заниматься идентификацией объектов и анализом их поведения. Непрерывный обмен информацией между узлами приводит к наличию распределенных знаний (например, сигнатуры целевого объекта), что может обеспечить требуемый уровень качества обслуживания при решении задач видео-аналитики даже в контексте неперекрывающихся полей обзора.

Единственную большую статью номера «Среднее время параллельного доступа к памяти» («Concurrent Average Memory Access Time»), не вошедшую в тематическую подборку, написали Ксиан-Хе Сан и Давей Ванг (Xian-He Sun, Dawei Wang, Illinois Institute of Technology).

Для вычисления среднего времени доступа к иерархии основной памяти (average memory access time, AMAT) принято использовать коэффициент «непопаданий» в кэш (miss rate, MR) и средний размер накладных расходов, возникающих по причине отсутствия в кэше требуемых данных (average miss penalty, AMP). Эти показатели ориентированы на последовательный доступ к памяти и не подходят для измерения среднего времени параллельного доступа к кэшу. Кроме того, эффективность параллельного доступа зависит от специфики приложений и их реализации.

В статье предлагается понятие среднего времени параллельного доступа к памяти (concurrent average memory access time, C-AMAT). При расчете C-AMAT задержка доступа к памяти вычисляется как сумма задержек на всех уровнях иерархии кэша. Вводятся два новых показателя параллелизма при доступе к памяти: параллелизм при попадании в кэш и параллелизм при непопадании. Эти показатели учитываются на каждом уровне кэша. Параллелизм при попадании всегда приводит к повышению производительности, а отсутствие данных в кэше может приводить или не приводить к снижению производительности системы памяти в целом в зависимости от значения показателя параллелизма при попадании.