Компьютеры со знанием контекста

Сергей Кузнецов

Обзор апрельского, 2014 г. номера журнала Computer (IEEE Computer Society, V. 47, No 4, April 2014).

Авторская редакция.
Также обзор опубликован в журнале «Открытые системы»

Темой апрельского номера журнала являются компьютерные средства, обладающие знаниями о текущем контексте и использующие эти знания в интересах пользователей (Aware Computing). Вводную заметку к тематической подборке статей представили приглашенные редакторы Карл Чанг и Билл Шилит (Carl Chang, Iowa State University, Bill N. Schilit, Google).

Дуга эволюционного развития компьютерных технологий началась с исполинских счетно-решающих устройств, размещавшихся в стерильно-чистых помещениях, и привела к появлению портативных суперкомпьютеров, обрабатывающих пользовательские аудио- и видеоданные, а также изображения в условиях реального мира. Параллельно этой дуге развития произошел переход от ручного ввода данных к вводу данных от аппаратных датчиков. С появлением смартфонов и планшетов возникла тенденция к оснащению компьютерных устройств средствами определения местоположения, ускорения, температуры, силы тяжести, давления, степени влажности, расстояния, освещенности и других физических характеристик.

В индустрии и исследовательском сообществе давно используются сенсоры для повышения уровня осведомленности систем в реальных условиях. В середине 1990-х в исследовательских лабораториях были разработаны переносные компьютеры, в которых учитывалось текущее местоположение пользователя (в частности, в проектах Active Badge в лаборатории Olivetti Research и PARCTab в лаборатории Palo Alto Research Center). Вслед за этим появились компьютеры, способные учитывать текущий контекст (выявлять информацию о своем текущем окружении – например, о находящихся поблизости людях и устройствах). Исследователи продолжали изучать возможности компьютеров по поддержке осведомленности об активности пользователей (бег, ходьба, вождение автомашины и т.д.), а также определению социальной ситуации пользователя (один ли он, один на один с кем-то еще или же участвует в групповом общении). Когда возможности аппаратного восприятия контекста усовершенствовались, на них стали опираться базовые средства смартфонов, обеспечивающие актуальность контекста и предоставляющие персональным устройствам недоступную ранее осведомленность о реальном окружении пользователей.

Компьютерная осведомленность теперь основывается далеко не только на данных, поступающих из аппаратных датчиков. Приложения, учитывающие контекст, могут опираться на обрабатываемые данные. Например, данные о доступных точках доступа к Wi-Fi могут преобразовываться к географическим координатам, а к координатам могут добавляться пометки, например, «здесь подают хорошую картошку фри». Еще одно измерение добавляет социальный слой – данные, собираемые через социальную сеть или краудсорсинг. Пользователи вводят данные небольшого объема о мире, приложения могут анализировать и объединять эти данные с данными, поступающими от других устройств для обеспечения все большей осведомленности о контексте. Массивные наборы данных, получаемые путем агрегации пользовательских данных, показаний датчиков, результатов анализа данных и данных, получаемых путем краудсорсинга, обеспечивают новый уровень компьютерной осведомленности.

Онлайновый сервис микроблогинга Twitter для многих людей является основным средством повышения уровня осведомленности об окружающем мире. Хотя для написания и публикации твитов не требуется много усилий и времени, коллективный обмен информацией на основе твитов внутри некоторого сообщества может быстро стать мощным средством распространения информации и повышения уровня осведомленности каждого участника. В статье «Пересмотр возможностей использования контекста: использование человеческих и машинных вычислений при реагировании на чрезвычайные ситуации» («Rethinking Context: Leveraging Human and Machine Computation in Disaster Response») Сара Вивег и Адам Ходжес (Sarah Vieweg, Qatar Computing Research Institute, Adam Hodges, Carnegie Mellon University) анализируют микроблогинг в контексте массовых чрезвычайных ситуаций, порождаемых стихийными бедствиями. Они отмечают, что понимание твитов может быть чрезвычайно трудной задачей после возникновения стихийного бедствия, и выступают за более эффективную интеграцию машинного и человеческого интеллектов. С помощью такого симбиоза человека и компьютера государственные официальные лица и службы экстренного реагирования смогут лучше понять смысловое наполнение микроблогов и восстановить контроль над чрезвычайной ситуацией.

Рис. 1. В платформе Artificial Intelligence for Disaster Response (AIDR) используются как машинные, так и человеческие вычисления для сбора, обработки и распространения существенной информации из твитов после возникновения стихийного бедствия.

Мохаммед Хок и Розалинда Пикард (Mohammed (Ehsan) Hogue, ROC HCI, University of Rochester, Rosalind Picard, MIT Media Lab) в статье «Обогащенная технология невербального восприятия для автоматизированного обучения социальным навыкам» («Rich Nonverbal Sensing Technology for Automated Social Skills Training») исследуют существующие методы и приложения в области невербального восприятия. Описывается прототип системы MACH, предназначенной для обучения социальным навыкам. Разнообразные средства восприятия, имеющиеся в этой системе, позволяют объединить информацию, поступающую из аудио- и видеоисточников (мимика, интонации и речь), источников физиологических данных, социальных сетей и датчиков (например, GPS), с целью анализа поведения людей для обеспечения обратной связи и совершенствования их социальных взаимодействий (например, при собеседованиях при поступлении на работу или выступлениях перед публикой). Демонстрируется, каким образом достижения в компьютерной области с использованием различных средств восприятия изменяют отношения между человеком и компьютером.

Рис. 2. Схематическое изображение идеальной технологии автоматического восприятия и обратной связи. Затененные прямоугольники показывают, что умеет делать MACH в настоящее время.

Марк Мэтьюс, Саид Абдулла, Джери Гэй и Танзим Чоудхари (Mark Matthews, Saeed Abdullah, Geri Gay, Tanzeem Choudhury, Cornell University) представили статью «Отслеживание психического здоровья: балансировка развитых средств восприятия и потребностей пациентов» («Tracking Mental Well-Being: Balancing Rich Sensing and Patient Needs»). Анализируются возможности применения систем, осведомленных о контексте, в области охраны психического здоровья. Поскольку выявление реального поведения пациентов существенно для оценки их психического здоровья, авторы полагают, что непрерывное слежение за социальной и физической активностью пациентов может обеспечить пожизненный контроль над их психическими заболеваниями. Отмечаются три основных преимущества этого подхода:

• обеспечение своевременных данных об изменении психического состояния;
• возможность медицинского вмешательства при необходимости;
• способствование пониманию пациентами особенностей их болезни.

Соответствующие механизмы, построенные поверх средств пассивного восприятия, обладают огромным потенциалом для совершенствования ухода за больными не вызывая проблем нарушения конфиденциальности и возникновения рисков из-за возможного наличия ошибок в системе. В статье не только описывается предлагаемая технология, но и обсуждается потребность в балансировке между возможностями этой технологии и потребностями пациентов.

Вне тематической подборки опубликованы три крупные статьи. Автором статьи «Интернет-голосование: эмпирическая оценка» («Internet Voting: An Empirical Evaluation») является Джампьеро Бероджи (Giampiero E.G. Beroggi, Spring Analytica and the Zurich Business School).

Голосование через интернет – это неочевидный подход. Он обладает многими потенциальными преимуществами, но и порождает проблемы (в частности, проблему безопасности). Однако в исследовательском сообществе недостаточное внимание уделяется эмпирическим оценкам плюсов и минусов интернет-голосования, а потребность в таких данных возрастает по мере взросления «цифрового поколения», которому вскоре придется голосовать.

Осознавая важность обеспечения возможности голосования через Интернет статистическое бюро кантона Цюрих в 2004 г. разработало пилотную версию системы поддержки нтернет-голосования в этом наиболее густонаселенном кантоне Швейцарии. В том же году Правительственный совет кантона принял решение о тестовом использовании системы в нескольких общинах региона в течение следующих двух лет. После успешной первой фазы тестирования в 2006 г. было принято решение продолжить тестирование в период с 2008 по 2011 гг., обеспечивая возможность Интернет-голосования как альтернативы голосования по почте и голосования с использованием бюллетеней.

Рис. 3. Три альтернативы голосования, доступные в 13 избирательных округах кантона Цюрих.

В ноябре 2011 г. правительство кантона Цюрих решило завершить тестирование первой системы и начать разработку новой системы, которая должна обслуживать и другие кантоны, а также контролироваться федеральным правительством, отвечающим за определение стандартов безопасности Интернет-голосования в Швейцарии. Новая система идентична предыдущей; заменено только оборудование и ликвидирована возможность голосования с использованием SMS. В феврале 2012 г. федеральное правительство опубликовало результаты исследований о возможности применения контролируемой системы Интернет-голосования. Этот отчет, а также планы по внедрению системы во всех кантонах, каждый из которых будет отвечать за правильность функционирования системы, будут определять, станет ли система (и если станет, то когда) доступной для всех избирателей Швейцарии.

Участие в трехлетнем тестировании новой системы, во время которого было проведено 11 отдельных оценок возможности ее использования, позволило автору статьи получить важные эмпирические результаты. К их числу, в частности, относятся соображения об обеспечении доверия к системе за счет возможности контроля ее работы. Интересно также соображение об обеспечении прозрачности системы для избирателей за счет доступности ее исходных кодов. Для перехода к практическому использованию крупномасштабной системы интернет-голосования необходимо обеспечить правильную балансировку политических, экономических и технологических аспектов ее применения.

Статью «Новые возможности вспомогательных технологий, основанных на машинном зрении, для поддержки слабовидящих» («New Opportunities for Computer Vision–Based Assistive Technology Systems for the Visually Impaired» написали Хуан Тервен, Хоакин Салас и Богдан Радучану (Juan R. Terven, Joaquín Salas, Instituto Politécnico Nacional, Mexico, Bogdan Raducanu, Computer Vision Center, Spain).

Традиционно вспомогательные технологии для людей с нарушением зрения основывались на использовании ультразвуковых, инфракрасных и лазерных датчиков. Разработчики пытались использовать для тех же целей средства искусственного зрения, однако еще 10 лет назад этому препятствовали недостаточность вычислительной мощности компьютеров и отсутствие надежных алгоритмов. Однако в настоящее время компьютеры стали настолько мощны, что появившиеся надежные алгоритмы машинного зрения могут выполняться в реальном времени на встроенных компьютерах. Кроме того, удобство и распространенность смартфонов привело к появлению вспомогательных технологий на основе машинного зрения, которые позволяют слабовидящим пользователям принимать участие в ранее недоступной для них повседневной деятельности.

Чтобы лучше разобраться в этих технологиях и приложениях, авторы составили обзор литературы, посвященной приложениям машинного зрения. Это обзор делался в ходе выполнения в Национальном политехническом институте проекта по созданию прототипов систем машинного зрения для распознавания объектов и поддержки социальных взаимодействий. В статье содержится краткий пересказ обзора и приводятся общие черты разработанных прототипов.

Последнюю крупную статью апрельского номера «Активный сбор вредоносных программных средств в сравнении с пассивным сбором» («Active versus Passive Malware Collection») написали Ин-Дар Лин, Чиа-Ин Ли, Ю-Сун Ву, Фу-Ю Ван и И-Лан Цай (Ying-Dar Lin, Chia-Yin Lee, Yu-Sung Wu, Pei-Hsiu Ho, Fu-Yu Wang, National Chiao Tung University, Yi-Lang Tsai, National Center for High-Performance Computing).

Меры противодействия вредоносному программному обеспечению обычно опираются на автоматический сбор таких программ с использованием пассивных или активных ловушек. При использовании пассивных ловушек образцы вредоносных программ собираются путем их приманивания к некоторой конкретной системе. Подход активных ловушек заключается в том, что производится преднамеренный доступ к Web-сайтам или файлам, предположительно содержащим вредоносные программы. В настоящее время не вполне понятно, имеет ли смысл использовать для сбора образцов вредоносных программ и пассивные, и активные ловушки, то есть достаточно ли сильно перекрываются наборы образцов, полученных с применением каждого из двух этих подходов.

Авторы статьи провели ряд экспериментов с целью нахождения ответов на три следующие вопроса:

• какие разновидности вредоносного программного обеспечения позволяет собрать каждый из двух подходов, и насколько сильно перекрываются результирующие наборы образцов?
• может ли пассивный или активный сбор образцов позволить отловить вредоносные программы, для которых в базах данных сканирования еще не содержатся сигнатуры?
• насколько велика должна быть активность вредоносных сайтов, чтобы соответствующие вредоносные программы можно было отловить с применением пассивного или активного подходов?

Эксперименты позволили получить предварительные ответы на эти вопросы. В частности, показано, что осмысленно применение обоих подходов, но активный сбор образцов вредоносных программ позволяет отловить менее активные вредоносные программы.