Logo Море(!) аналитической информации!
IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware
Обучение от Mail.Ru Group.
Онлайн-университет
для программистов с
гарантией трудоустройства.
Набор открыт!
2015 г.

Интеллектуальные видеокамеры

Сергей Кузнецов

Обзор майского, 2014 г. номера журнала Computer (IEEE Computer Society, V. 47, No 5, May 2014).

Авторская редакция.
Также обзор опубликован в журнале «Открытые системы»

Майский номер посвящен интеллектуальным сетям видеокамер (Smart Camera Networks). Приглашенными редакторами, написавшими вводную заметку с таким же названием, являются Мартин Рейсслейн, Бернхард Риннер и Амит Рой-Чоудхари (Martin Reisslein, Arizona State University, Bernhard Rinner, Alpen-Adria Universität Klagenfurt, Amit Roy-Chowdhury, University of California, Riverside).

Сети видеокамер, фиксирующих данные в частных и общественных средах, повсеместно распространены и применяются для обеспечения безопасности, выполнения аварийно-спасательных работ, контроля окружающей среды и т.д. Однако в большинстве приложений зафиксированные данные сохраняются и анализируются вручную. Задача ручной обработки этих данных чрезвычайно трудоемка, и было бы целесообразно и полезно наличие некоторого уровня автоматизации. Имеющиеся достижения в областях машинного зрения, видеосенсорного оборудования, встроенных компьютеров и сенсорных сетей привели к появлению технологии интеллектуальных сетей телекамер.

Интеллектуальные сети видеокамер – это работающие в режиме реального времени распределенные встраиваемые системы, выполняющие задачи машинного зрения с использованием нескольких видеокамер. Такие системы востребованы в разных областях приложений, но с их разработкой связан ряд аппаратных и программных проблем. Например, с позиций аппаратного обеспечения для создания сети видеокамер требуются энергоэффективные компактные вычислительные узлы, обладающие возможностью сохранять и обрабатывать видеоинформацию. С программистской точки зрения для таких сетей требуются масштабируемые, устойчивые и эффективные в вычислительном отношении методы анализа видеоданных. Системная архитектура интеллектуальных сетей видеокамер должна обеспечивать адаптивные контроль и координацию для поддержки гибкости, упрощения внедрения, обеспечения безопасности и конфиденциальности, а также управления промежуточным программным обеспечением, связывающего различные сенсорные модули, чтобы обеспечить управление данными и их обработку на общесистемном уровне.

В тематической подборке содержатся шесть статей, затрагивающие вопросы анализа видеоданных, системной архитектуры сетей видеокамер, организации сенсорных сетей и т.д.

Для надежного анализа видеоданных требуется построение моделей объектов, находящихся в области пространства, которая отображается видеокамерами. В статье Чин-Ху Чена, Рамы Челаппы, Жульен Фавр, Томаса Андриаччи, Грегория Курилло и Рузены Байчи (Ching-Hui Chen, Rama Chellappa, University of Maryland, College Park, Julien Favre, Thomas P. Andriacchi, Stanford University, Gregorij Kurillo, Ruzena Bajcsy, University of California) «Сети видеокамер для здравоохранения, обеспечения телепогружения и поддержки надзора» («Camera Networks for Healthcare, Teleimmersion, and Surveillance») эта задача обсуждается как для перекрывающихся сетей видеокамер, так и для сетей без перекрытия. К числу рассматриваемых в статье вопросов относятся технология безмаркерного захвата движения (markerless motion capture), позволяющая получать «сырые» данные, на основе которых строятся модели объектов, а также калибровка сетей видеокамер, требуемая для отображения объектов из плоскости изображений в трехмерный мир. Статья также содержит обзор существующих методов и систем в областях здравоохранения, телепогружения (teleimmersion) и надзора.


Рис. 1. Применение метода безмаркерного захвата движения для анализа подач мяча в теннисе. (a) Конфигурация наружной сети видеокамер, (b) результат трехмерного лазерного сканирования объекта (слева) и соответствующая сегментированная модель (справа), (c) отслеживание движений спортсмена.

В сетях видеокамер для приложений наблюдений требуется тщательная балансировка стоимости и производительности. В своей статье «Беспроводные интеллектуальные сети видеокамер для обеспечения надзора в местах общего пользования» («Wireless Smart Camera Networks for the Surveillance of Public Spaces ») Кевин Абас, Катя Образка и Кайо Порто (Kevin Abas, Katia Obraczka, University of California, Santa Cruz, Caio Porto, Universidade Federal do Rio de Janeiro) представляют таксономию беспроводных интеллектуальных сетей видеокамер. С использованием этой таксономии авторы классифицируют новейшие беспроводные системы наблюдения, а затем описывают систему SWEETcam (Solar Wi-Fi Energy-Efficient Tracking camera), которая ориентирована на максимизацию соотношения «стоимость-производительность» в приложениях видеонаблюдений.


Рис. 2. Системная архитектура SWEETcam. Использование Raspberry Pi дает возможность опираться на возможности ОС Linux и сохранять независимость от аппаратных средств. У микроконтроллера MSP430 имеется исключительно низкий уровень энергопотребления как в состоянии сна, так и в состоянии простоя.

Хотя сети видеокамер можно построить на основе специализированных систем управления видеокамерами (например, SWEETcam), пользователи все чаще носят с собой мобильные устройства со встроенными камерами, такие как смартфоны и планшеты. Андреа Прати и Файсал Куреши (Andrea Prati, University IUAV of Venice, Faisal Qureshi, University of Ontario Institute of Technology) представили статью «Интеграция пользовательских интеллектуальных камер в сети видеокамер: возможности и препятствия» («Integrating Consumer Smart Cameras into Camera Networks: Opportunities and Obstacles»), в которой исследуются возможности интеграции пользовательских интеллектуальных камер за счет использования инноваций в области мобильного технического зрения (в частности, новых методов машинного зрения и обработки изображений для мобильных устройств, оснащенных видеокамерами). Затем обсуждаются технические проблемы, возникающие при интеграции пользовательских камер в сети видеокамер: геометрическая калибровка, синхронизация времени, топология сети и т.д.


Рис. 3. Характеристики видеокамер, которые могут входить в интегрированную сеть. Основная проблема состоит в том, чтобы правильно сбалансировать требования к этим устройствам, в частности, требования к поворотным камерам (pan-tilt-zoom, PTZ) и к пользовательским мобильным устройствам.

Сжатие изображений (сompressive sensing, CS) и их разреженное представление (sparse representation) – это перспективные подходы к работе с «большими данными» в сетях видеокамер, в которых приходится иметь дело с очень большими объемами данных. Каушик Митра, Ашок Веерарагаван, Ричард Баранюк и Асвин Санкаранараянан (Kaushik Mitra, Ashok Veeraraghavan, Richard G. Baraniuk, Rice University, Aswin C. Sankaranarayanan, Carnegie Mellon University) в статье «Навстречу к сетям видеокамер, сжимающим данные» («Toward Compressive Camera Networks») исследуют подходы к обеспечению возможности работы с огромными объемами данных и масштабируемости в крупномасштабных сетях видеокамер на основе последних достижений в области CS. Авторы выделяют тенденции, выходящие за рамки отдельных приложений, и рассуждают о том, что применение методов CS может привести к полному изменению структуры сетей видеокамер.

Развивающаяся технология трехмерного видео требует очень большого объема вычислений, с которыми могут не справиться узлы сети видеокамер. Перенос вычислительной обработки трехмерного видео в облака может существенно разгрузить узлы сети камер. Статья Жангиу Гуана и Томмасо Мелодиа (Zhangyu Guan, Tommaso Melodia, State University of New York at Buffalo) «Интеллектуальные сети видеокамер с облачной поддержкой для обеспечения энергоэффективного потокового трехмерного видео» («Cloud-Assisted Smart Camera Networks for Energy-Efficient 3D Video Streaming») содержит обзор современных методов мультимедийных вычислений в облачной инфраструктуре. Представлены архитектуры мобильных облачных вычислительных сервисов, которые можно использовать в сетях видеокамер, а также соответствующие шаги обработки видеоданных – от кодирования видео до декодирования и организации потоков.


Рис. 4. Предположительная архитектура для поддержки потокового трехмерного видео в облачной инфраструктуре. Облачный сервер не только обрабатывает сырые данные, но также оптимизирует передачу потоков данных между отдельными камерами и устройствами отображения.

Для сетей видеокамер требуются приложения, облегчающие адаптацию к непредвиденным внешним условиям, изменению задач и ограниченности ресурсов. В статье «Самоперестраивающиеся интеллектуальные сети видеокамер» («Self-Reconfigurable Smart Camera Networks») Хуан Санмигель, Карен Щуп, Андреа Кавалларо, Кристиан Микелони и Джиан Люка Форести (Juan C. SanMiguel, Karen Shoop, Andrea Cavallaro, Queen Mary University of London, Christian Micheloni, Gian Luca Foresti, University of Udine) выделяют ключевые компоненты (камеры, сеть, среда, задачи и производительность) динамически изменяемой конфигурации сети видеокамер. Обсуждается также, каким образом эти взаимосвязанные компоненты могут допускать самоперестройку структуры системы, обеспечивая при этом решение основных проблем интеллектуальных сетей видеокамер: определение топологии и самокалибровку, распределение ресурсов и задач, а также активное наблюдение.


Рис. 5. Примерный сценарий организации самоперестраивающейся интеллектуальной сети видеокамер. В число возможных задач входят обнаружение, локализация и повторное опознание. Разнородные датчики обеспечивают полное покрытие отслеживаемой области с различными полями обзора (трапециями). Взаимодействие видеокамер позволяет передавать решение задачи видео-аналитики в наиболее подходящий узел. Узлы с более широкими полями обзора могут отслеживать движущиеся целевые объекты, а другие узлы могут заниматься идентификацией объектов и анализом их поведения. Непрерывный обмен информацией между узлами приводит к наличию распределенных знаний (например, сигнатуры целевого объекта), что может обеспечить требуемый уровень качества обслуживания при решении задач видео-аналитики даже в контексте неперекрывающихся полей обзора.

Единственную большую статью номера «Среднее время параллельного доступа к памяти» («Concurrent Average Memory Access Time»), не вошедшую в тематическую подборку, написали Ксиан-Хе Сан и Давей Ванг (Xian-He Sun, Dawei Wang, Illinois Institute of Technology).

Для вычисления среднего времени доступа к иерархии основной памяти (average memory access time, AMAT) принято использовать коэффициент «непопаданий» в кэш (miss rate, MR) и средний размер накладных расходов, возникающих по причине отсутствия в кэше требуемых данных (average miss penalty, AMP). Эти показатели ориентированы на последовательный доступ к памяти и не подходят для измерения среднего времени параллельного доступа к кэшу. Кроме того, эффективность параллельного доступа зависит от специфики приложений и их реализации.

В статье предлагается понятие среднего времени параллельного доступа к памяти (concurrent average memory access time, C-AMAT). При расчете C-AMAT задержка доступа к памяти вычисляется как сумма задержек на всех уровнях иерархии кэша. Вводятся два новых показателя параллелизма при доступе к памяти: параллелизм при попадании в кэш и параллелизм при непопадании. Эти показатели учитываются на каждом уровне кэша. Параллелизм при попадании всегда приводит к повышению производительности, а отсутствие данных в кэше может приводить или не приводить к снижению производительности системы памяти в целом в зависимости от значения показателя параллелизма при попадании.

Новости мира IT:

Архив новостей

Последние комментарии:

Релиз ядра Linux 4.14  (6)
Пятница 17.11, 16:12
Apple запустила Pay Cash (2)
Четверг 09.11, 21:15
Loading

IT-консалтинг Software Engineering Программирование СУБД Безопасность Internet Сети Операционные системы Hardware

Информация для рекламодателей PR-акции, размещение рекламы — adv@citforum.ru,
тел. +7 985 1945361
Пресс-релизы — pr@citforum.ru
Обратная связь
Информация для авторов
Rambler's Top100 TopList liveinternet.ru: показано число просмотров за 24 часа, посетителей за 24 часа и за сегодня This Web server launched on February 24, 1997
Copyright © 1997-2000 CIT, © 2001-2015 CIT Forum
Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее...