Близки ли мы к переселению разума?

Обзор октябрьского 2008 г. номера журнала Computer (IEEE Computer Society, V. 41, No 10, Октябрь, 2008).

Авторская редакция.
Также обзор опубликован в журнале "Открытые системы"

Все, кроме одной, большие статьи октябрьского номера журнала Computer посвящены единой теме – интерфейсу между человеческим мозгом и компьютером (Brain-Computer Interface, BCI). Хочу заметить, что в статьях тематической подборки используется много терминов из области нейробиологии. Поскольку в этой области я совсем не являюсь специалистов, в русских эквивалентах этих терминов я мог что-то напутать, за что заранее приношу свои извинения.

Приглашенным редактором тематической подборки является Оливер Бимбер (Oliver Bimber, Bauhaus University, Weimar, Germany). Его вводная заметка называется «Переселение разума» («Total Recall»).

Сегодняшние человеко-машинные интерфейсы (human-computer interface, HCI) по своей природе являются скорее физическими. Обмен информацией человека с компьютером ограничен возможностями отдельных устройств ввода и вывода. При скорости ввода данных с клавиатуры, меньшей 50 слов в минуту, и скорости чтения, меньшей 300 слов в минуту, скорость общения человека с его лаптопом намного ниже пропускной способности большинства межкомпьютерных интерфейсов. Это узкое место в общении человека с компьютером, безусловно, расширяется при применении развитых подходов к организации HCI, основанных, например, на распознавании речи. Однако прямая связь с мозгом позволила бы избежать большинства физиологических действий. Если на мгновение отвлечься от потребности решения массы технических задач, в будущем мы могли бы достичь при общении с компьютером скорости мышления.

Кроме обеспечения более эффективного способа коммуникации, такие интерфейсы между мозгом и компьютером приведут к появлению совершенно новых возможностей. Например, они будут поддерживать инвалидов, так что они смогут мысленно управлять протезами и другими интерфейсами. На BCI могут также основываться новые подходы в нейрологической реабилитации и даже в области компьютерных игр. Фантасты предсказывают, что к середине XXI века появится возможность загрузить содержимое человеческого мозга с суперкомпьютер. Следствием этого может стать тиражирование и изменение сознания – переселение разума становится реальностью.

Технология BCI является увлекательной и переспективной темой исследований. На пути к электронному бессмертию и мысленному управлению предстоит преодолеть много препятствий. Каким образом можно бесконтактным образом эффективно воспринимать сигналы мозга? Как обрабатывать и интерпретировать эти сигналы? В этом специальном выпуске журнала ведущие ученые рассказывают о состоянии дел в области BCI.

Авторами статьи «Бесконтактные BCI: многоходовые декомпозиции массива обработки сигналов» («Noninvasive BCIs: Multiway Signal-Processing Array Decompositions») являются Анджей Цикоцки, Йошиказу Вашизава, Томаш Рутковски, Ховагим Бакарджиан, Ан-Хай Фан, Сеунгдждин Чой, Хейкиенг Ли, Кибин Жао, Ликинг Жанг Юанкинг Ли (Andrzej Cichocki, Yoshikazu Washizawa, Tomasz Rutkowski, Hovagim Bakardjian, Anh-Huy Phan, RIKEN Brain Science Institute, Japan, Seungjin Choi, Hyekyoung Lee, Pohang University of Science and Technology, Korea, Qibin Zhao, Liqing Zhang, Shanghai Jiao Tong University, China, Yuanqing Li, South China University of Technology, Guangzhou, China).

BCI – это системы, в которых используются электрические, магнитные или гемодинамические сигналы мозга для управления внешними устройствами, такими как компьютеры, переключатели, инвалидные коляски и нейропротезы. Хотя исследования в области BCI в основном направлены на создании новых каналов коммуникации для людей с серьезными физическими недостатками с использованием сигналов их мозга, в настоящее внимание в центре внимания исследователей также находится разработка потенциальных приложений в областях нейрологической реабилитации, мультимедийных коммуникаций, виртуальной реальности и развлечений.

BCI опираются на следующие три основные компонента: методы измерения нейронных сигналов человеческого мозга; методы и алгоритмы распознания состояния и намерений человека на основе этих сигналов; методология и алгоритмы отображения выявленной активности человеческого мозга на соответствующие поведение и действия.

Для получения данных в области исследований BCI испытывалось несколько технологий, например, электроэнцефалогоафия (EEG), магнитоэнцефалография (MEG), функциональная магнитно-резонансная томография (fMRI) и спектроскопия в ближней инфракрасной области (near infrared spectroscopy, NIRS). Однако, поскольку технологии MEG, fMRI и NIRS являются дорогостоящими и громоздкими, и поскольку в fMRI и NIRS нервная деятельность не измеряется напрямую, а применяется гемодинамическая взаимосвязь между нервной деятельностью и местными изменениями кровообращения, эти технологии невозможно применять в амбулаторных или переносных системах BCI. В результате в большинстве перспективных систем BCI используются сигналы EEG.

Необработанные данные мозга редко бывают особенно полезны, поскольку их реальная ценность зависит от качества данных и средств обработки сигналов, машинного обучения и интеллектульного анализа данных, применяемых для извлечения полезной информации. Для получения высококачественных данных мозга и, следовательно, надежной системы BCI, прежде всего, требуется создать стимулирующие условия или параметры мыслительной задачи, которые будут способствовать генерации максимально поддающихся измерению и классификации состояний мозга. Далее, требуется оптимизировать процедуру измерения и разработать алгоритмы обработки сигналов в реальном времени для распознавания и интерпретации результирующих сигналов мозга. Наконец, необходимо интегрировать все это в интерфейс с оптимальными функциональными возможностями и эксплуатационными характеристиками.

Авторы полагают, что перспективным подходом к созданию BCI является декомпозиция тензоров высокого порядка, поскольку многие факторы (например, временные паттерны, изменчивость результатов от одного испытания к другому и т.д.) являются физически значимыми, и исследователи могут относительно просто интерпретировать их в контексте нейрофизилогии. Обычно также приходится иметь дело с очень крупными матрицами высокой размерности, в которых требуется эффективно сокращать число параметров для подсчета оценок, и многопотоковой декомпозицией массивов как способом добиться этого. Наконец, декомпозиция тензоров может обеспечивать избирательность, гладкость, разреженное представление и многоходовую кластеризацию.

Алоис Шлёгл и Клеменс Брюннер (Alois Schlögl, Clemens Brunner, Graz University of Technology) представили статью «BioSig: бесплатная библиотека программного обеспечения для исследований в области BCI, распространяемая с открытыми кодами» («BioSig: A Free and Open Source Software Library for BCI Research»).

Задачей BCI является выявление намерений пользователей на основе отслеживания и анализа деятельности мозга без использования сигналов от мускулатуры и периферических нервов. Обычно для получения характеристик о деятельности мозга исследователи опираются на электроэнцефалографию (EEG), но также используют и электрокордикографию (EcoG), спектроскопию в ближней инфракрасной области (NIRS) или функциональную магнитно-резонансную томографию (fMRI). Наиболее распространена EEG, поскольку эта технология является беконтактной, переносной, может использоваться почти в любой среде и обладает отличной временной разрешающей способностью. Для определения намерений пользователя требуется сложная цепочка шагов обработки данных, общая надежность которой определяется ее наиболее слабым звеном.

Исследователи BCI тратят значительное время на разработку программного обеспечения для анализа данных и расчета различных моделей деятельности мозга. Отсутствие исчерпывающего репозитория инструментальных средств усложняет согласование форматов данных и доказательство совместимости различных концепций науки о нервной деятельности.

В 2003 г. был начат проект BioSig по созданию бесплатной и доступной вместе с исходными текстами библиотеки биомедицинских инструментальных средств обработки сигналов. Первые выпуски полностью основывались на M-коде для Matlab и Octave; эта часть билиотеки теперь называется BioSig for Octave and Matlab (biosig4octmat). Позже к библиотеке была добавлена часть BioSig for C/C++ (biosig4c++).

Хотя средства biosig4octmat являются очень успешными, огромное преимущество в скорости обеспечивает использование функций, реализованных на C/C++, а не на M. Кроме того, в программном обеспечении для сбора данных, не основанном на использовании M, можно применять скрипты Matlab для сохранения данных. Кроме того, Федеральное управление по лекарственным средствам США и группа по стандартизации в области здравоохранения Health Level Seven предложили формат данных на основе XML для аннотированных данных электрокардиограмм (HL7aECG), но средства Matlab и Octave для работы с XML являются неэффективными.

Для преодоления этих ограничений в biosig4c++ обеспечивается группа реализованных на C инструментальных средств для чтения и записи биомедицинских сигнальных форматов данных. Большая часть этих форматов данных основана на обратном порядке байт, но, подобно тому, как это делается в Matlab и Octave, в biosig4c++ поддерживаются преобразования для платформ и с прямым, и с обратным порядком байт. Инструменты из набора tinyXML позволяют читать и записывать данные в формате HL7aECG. Интерфейс MEX и набор средств TCP/IP дают возможность пользователям biosig4c++ загружать данные в Matlab и Octave. Инструментальные средства biosig4c++ также можно использовать в среде Python, например, через упрощенную оболочку и генератор интерфейсов (SWIG).

Статью «Функционирование BCI робототехнических и простетических устройств» («Brain-Computer Interface Operation of Robotic and Prosthetic Devices») написали (Dennis J. McFarland, Jonathan R. Wolpaw, New York State Department of Health).

При мозговой активности производятся электрические сигналы, которые можно уловить на поверхности кожи головы, на поверхности коры головного мозга или внутри мозга. BCI транслируют эти сигналы в данные, отражающие намерения пользователя без участия периферических нервов и мускулатуры.

Поскольку BCI не зависят от нервномышечного управления, эти интерфейсы могут обеспечить коммуникацию и управление людям с разрушительными нервномышечными расстройствами, таким как боковой амиотрофический склероз, стволовой инсульт, церебральный паралич и повреждение спинного мозга. Исследования и разработки в области BCI дадут возможность этим пользователям, которые иногда не в состоянии даже самостоятельно дышать и двигать зрачками, сообщать сиделкам о своих потребностях, использовать текстовые редакторы и другие программы, управлять роботизированными руками или нейропротезами. Компоненты систем BCI получают сигналы мозга, извлекают из них ключевые характеристики и транслируют эти характеристики в команды для устройств. Базовая схема системы BCI показана на рисунке.

Базовая схема и функционирование системы BCI. Электроды, размещенные на коже головы или внутри головы, получают сигналы от мозга, и система BCI обрабатывает эти сигналы для извлечения конкретных характеристик, отражающих намерения пользователя. BCI транслирует эти характеристики в команды, управляющие устройством – например, текстовым редактором, синтезатором речи, роботизированной рукой или инвалидной коляской.

BCI могут разрабатываться для коммуникационных или управляющих приложений. В коммуникационных приложениях команды, генерируемые BCI, управляют текстовым редактором или синтезатором речи, позволяя пользователям применять язык. Одним из примеров коммуникационного интерфейса, основанного на использовании BCI, является спеллер P300.

Для управляющих приложений команды, генерируемые BCI, управляют такими устройствами, как курсор, роботизированная рука или инвалидная коляска, которые могут перемещаться по желанию пользователя. Хотя получение сигналов и извлечение характеристик для коммуникационных и управляющих приложений могут производиться одним и тем же образом, применяемые алгоритмы трансляции обычно значительно различаются.

Управляющие приложения могут основываться на кинематическом управлении или на выборе целевого положения. При использовании кинематического управления BCI специфицирует в реальном времени точные перемещения. При выборе целевого положения BCI просто указывает желаемый результат, а соответствующие программно-аппаратные средства производят непрерывное кинематическое управление, позволяющее достичь этого результата. Выбор целевого положения называют также обратным кинематическим управлением, поскольку конкретные параметры управления вычисляются на основе знания целевого положения.

Управление на основе выбора целевого положения менее требовательно к сложности и скорости поступления сигналов управления, обеспечиваемых BCI. Например, для кинематического управления роботизированной рукой в трехмерном пространстве система BCI должна в реальном времени непрерывно обеспечивать три управляющих сигнала, а при управлении на основе выбора целевого положения от BCI требуется только указание конечного местоположения руки. При управлении на основе выбора целевого положения можно выдавать более сложные команды, такие как «сделать кофе». Конечно, для этого требуется устройство с детальным и постоянно обновляемым знанием окружающей среды.

При управлении на основе целевого положения от самой системы BCI требуется обеспечение гораздо меньшего объема информации. Однако кинематический подход в ряде обстоятельств может обеспечить существенно более гибкое управление. Эти подходы можно и комбинировать.

Требования к управлению роботехническими и простетическими медицинскими устройств очень сильно различаются. Система BCI могла бы управлять инвалидной коляской с использованием двух независимых управляющих сигналов: один для задания углового направления, другой для управления скоростью движения. В то же время, если инвалидная коляска используется в потенциально опасной среде, такой как городское дорожное движение, то существенными характеристиками управления являются точность и надежность. В отличие от этого, для управления протезом руки потребовалось бы гораздо больше степеней свободы, если в ней имеется много сочленений, но точность и надежность могли бы быть менее критичны, например, при перемещении объектов.

В статье обозреваются и сравниваются контактные и неконтактные методы организации BCI для кинематического и основанного на целевом положении управления устройствами.

Статья «Реабилитация с использованием систем BCI» («Rehabilitation with Brain-Computer Interface Systems») представлена Гертом Пфуртшеллером, Гернотом Мюллером-Пуцом, Христой Ньюпер и Рейнхольдом Шерером (Gert Pfurtscheller, Gernot R. Müller-Putz, Christa Neuper, Graz University of Technology, Reinhold Scherer, University of Washington, Seattle).

Еще недавно жертвы паралича могли только полагаться на помощь других людей для выполнения даже простейших задач. Однако с развитием биотехнологии появилась возможность предоставить людям с нервно-мышечными расстройствами большую степень самостоятельности. На основе процесса регистрации сигналов мозга с использованием специального программного обеспечения ранее беспомощные пациенты могут переключать телевизионные каналы, включать и выключать свет и отвечать на сообщения электронной почты просто концентрируясь на перемещении курсора к соответствующей области экрана монитора.

В последних экспериментах в число этих возможностей включается и управлением нейпропростетическими устройствами. Фокусируясь на перемещении специальным образом запрограммируемого простетического устройства, человек с диагнозом квадриплегии может взять стакан воды и его к своим губам, просто думая об этом. Каждая мысль способствует достижению некоторой цели, такой как произношение звука B или сжатие руки. Мозг транслирует целенаправленные мысли в конкретный пространственно-временной паттерн активации, который можно зарегистрировать и распознать в оперативном режиме. Особый интерес представляют мысленные стратегии, проявляющиеся в активации нервных сетей в основных сенсорных и моторных зонах. Такая активация происходит, когда пользователь фокусирует свое внимание на одной из этих зон.

Во всех этих приложениях используются системы BCI. При нейрологической реабилитации приложения нацеливаются на двигательную зону коры головного мозга, расположенную в предцентральной извилине, и на зрительную зону в затылочной области. В обоих случаях пациент использует определенную мыслительную стратегию для фокусирования внимания на некоторой части тела, на одном из источников света, на некоторой букве и т.д. Двигательные образы могут снижать частоту сенсорно-моторного ритма, а пристальный взгляд может приводить к повышению P300, положительного компонента вызванного зрительного потенциала (visual evoked potential, VEP), или VEP устойчивого состояния (steady-state VEP, SSVEP). При наличии должной обратной связи и обучения пациенты могут научиться изменять свои медленные корковые потенциалы (slow cortical potentials, SCP).

Приложения, основанные на использовании систем BCI, могут быть контактными, требующими прямой имплантации электродов в мозг пользователя, или бесконтактными, когда система фиксирует сигналы мозга на основе снятия электроэнцефалограммы (EEG) с использованием электродов, прикрепленных к коже головы пациента. В отличие от контактных систем, которые влекут риск, связанный с любой операцией на мозге, бесконтактные системы в основном безопасны.

Возможно, по этой причине бесконтактные системы BCI выглядят наиболее перспективными в области практической неврологической реабилитации. В статье приводится ряд примеров применения систем BCI в этой важной области.

Авторами последней статьи тематической подборки являются Анатоль Лекюер, Фабьен Лотте, Ричард Рейли, Роберт Либ, Мичитака Хиросе и Мел Слейтер (Anatole Lécuyer, Fabien Lotte, INRIA, Richard B. Reilly, Trinity College, Dublin, Robert Leeb, Graz University of Technology, Austria, Michitaka Hirose, University of Tokyo, Mel Slater, Technical University of Catalunya). Статья называется «BCI, виртуальная реальность и видеоигры» («Brain-Computer Interfaces, Virtual Reality, and Videogames»).

BCI могут обеспечить новые средства для участия в видеоиграх или взаимодействия с трехмерными средами виртуальной реальности. Попытки связать подходы BCI и виртуальных миров начались только в последние годы. Однако уже существует несколько впечатляющих прототипов, позволяющих пользователям осуществлять навигацию в виртуальном мире или манипулировать виртуальными объектами за счет исключительно их умственной активности, регистрируемой на коже головы электроэнцефалографическими электродами. Между тем технологии виртуальной реальности обеспечивают обосноваанные, безопасные и контролируемые условия, которые позволяют совершенствовать методы обучения применению BCI, а также способствовать исследованиям соответствующих реакций мозга и нервных процессов.

Технологии виртуальной реальности и видеоигр могут быть достойными компаньенами технологий BCI. Исследования показывают, что BCI обеспечивают удобное взаимодействие с приложениями виртуальной реальности и видеоиграми. С другой стороны, в исследовательском сообществе признается, что виртуальная реальность является перспективной и эффективной средой для изучения и совершенствования систем BCI.

Взаимодействия с виртуальной средой можно разбить на элементарные задачи, такие как навигация в виртуальном мире для изменения точки обзора или выбора и манипуляция виртуальными объектами.

Современные системы BCI могут позволить пользователям сдвинуть точку своего обзора в виртуальной среде влево или вправо путем использования двух разных сигналов мозга, таких как лево- и правосторонние моторные образы (motor imagery, MI) или два вызванных зрительных потенциала устойчивого состояния (steady-state visual-evoked potential, SSVEP) с разными частотами. BCI на основе MI также используются для управления рулевым устройством виртуальной машины, хождения по виртуальной улице или по виртуальной квартире. Эти BCI обычно обеспечивают пользователям от одной до трех команд, каждая из которых ассоциирована с определенной задачей.

Большинство BCI, ориентированых на выбор виртуальных объектов или манипуляции с ними, основывается на сигналах P300 или SSVEP. В этих приложениях виртуальные объекты обычно генерируют стимулирующие воздействия, которые инициируют характерные и опознаваемые сигналы мозга, привлекающие внимание пользователей к выбору соответствующего объекта и манипулированию им. Такие BCI позволяют пользователям включать и выключать устройства, такие как виртуальный телевизор или лампа, с использованием P300 или манипулировать более сложными объектами, такими как виртуальные персонажи, с использованием SSVEP.

Исследователи могут использовать технологию виртуальной реальности для изучения и соершенствования взаимодействия мозга с компьютером. Эта технология также помогает исследователям производить безопасные и полностью контролируемые эксперименты. Например, можно производить имитационное моделирование управления инвалидной коляской с использованием BCI, и различные группы BCI используются для исследования реакции пользователей на навигацию в сложной трехмерной среде с применением BCI в условиях, приближенных к реальным.

В нескольких исследованиях показано, что производительность пользователей при использовании приложений виртуальной реальности выше, чем при работе с классическими двухмерными дисплеями. Более того, опыт показывает, что иммерсивно приложение виртуальной реальности, тем выше производительность пользователей. Поэтому авторы полагают, что применение технологии виртуальной реальности может сократить время обучения использованию BCI и повысить эффективность этого обучения.

Единственная большая статья октябрьского номера, представленная вне тематической подборки, написана (Oriana Riva, ETH Zürich, Jaakko Kangasharju, Helsinki University of Technology) и называется «Проблемы и уроки разработки промежуточного программного обеспечения для смартфонов» («Challenges and Lessons in Developing Middleware on Smart Phones»).

Смартфоны являются наиболее перспективными предвестниками будущего всепроникающего компьютинга. При постоянном наращивании вычислительных, коммуникационных и сенсорных возможностей эти устройства эволюционировали от простых коммуникационных устройств в потребители различных типов информационных сервисов, а также в сенсорные концентраторы для систем мониторинга в сфере здравоохранения, для спортивных тренеров и т.д.

Програмирование телефонных приложений, которые способны должным образом функционировать в этой новой компьютерной среде, является непростой задачей. Платформы промежуточного программного обеспечения, которые могут, например, позволить абстрагироваться от сложности сетевых коммуникаций, отказоустойчивости и миграции компонентов, являются средствами, полезными для разработки распределенных приложений. Однако, хотя промежуточное программное обеспечение традиционно направлено на обеспечение некоторого полезного уровня абстракции, важным принципом разработки для мобильных телефонов является экономия ресурсов, в особенности ресурсов энергии, что является менее важным для традиционных настольных компьютеров. Промежуточное программное для смартфонов требует новых подходов.

В течение последних пяти лет авторы статьи участвовали в нескольких исследовательских проектах в Хельсинском институте информационной технологии, которые фокусировались на промежуточном программном обеспечении для всепроникающих приложений. Исследовались различные темы от систем передачи сообщений на основе XML и средств синхронизации для коммуникаций на основе событий, миграции сервисов, мониторингу контекста и реконфигурации. Было построено несколько прототипов систем, работающих на платформах современных телефонов. Эффективность этих приложений оценивалась на экспериментальных испытательных стендах, а в некоторых случаях и в режиме практического использования. На основе этих экспериментов авторы выявили несколько исследовательских проблем промежуточного программного обеспечения для смартфонов и смогли предложить их возможные решения.