Везде
Интерфейс мозг–компьютер: основные подходы. Часть I. Интерфейсы на основе регистрации электрической активности мозга
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Интерфейс мозг–компьютер: основные подходы. Часть I. Интерфейсы на основе регистрации электрической активности мозга
Аннотация
Код статьи
S020595920017071-4-1
DOI
10.31857/S020595920017071-4
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Медынцев Алексей Алексеевич 
Должность: Научный сотрудник
Аффилиация: ФГБУН Институт психологии РАН
Адрес: Российская Федерация, Москва
Выпуск
Том 43 № 1
Страницы
72-82
Аннотация

Представлен информационно-аналитический обзор основных принципов, лежащих в основе разработки интерфейсов “мозг–компьютер”. В первой части обзора проводится анализ принципов, лежащих в основе интерфейсов с использованием регистрации электрической активности мозга. В качестве таких принципов рассмотрены: использование устойчивых зрительных вызванных потенциалов, медленных потенциалов коры, компонента Р300 и характеристик спектра электрической активности мозга. Анализ современных работ по данной тематике показывает, что современные технологии позволяют обеспечить достаточно высокую точность опознания управляющего сигнала в таких интерфейсах. Вместе с тем главной проблемой является медленная (по сравнению с традиционными интерфейсами) скорость генерации команд. Эта проблема является серьезным препятствием на пути внедрения технологии неинвазивных нейроинтерфейсов в область практического использования.

Ключевые слова
интерфейс “мозг–компьютер”, ЭЭГ, Р300, медленные потенциалы коры
Источник финансирования
Работа выполнена по госзаданию № 0138-2020-0005.
Классификатор
Дата публикации
01.03.2022
Всего подписок
11
Всего просмотров
290
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
1 Большинство современных исследований, проводимых в психологии и нейронауках, имеют сугубо научные цели, направленные на приумножение фундаментального научного знания и относительно далеки от практического применения их результатов. Ежегодно в отечественных и зарубежных журналах публикуются десятки статей, посвященных фундаментальным темам: исследованию памяти и внимания, принятия решений, процессов решения задач и проблем и т.п. Вместе с тем, среди множества этих тем есть одна, которая, с одной стороны, порождает немалое количество публикаций, а с другой — обладает сугубо практической направленностью. Речь идет о разработке технологии взаимодействия между человеком и компьютерным устройством без прямого физического контакта — созданию интерфейсов “мозг–компьютер” (ИМК).
2 Естественным является вопрос о том, на каком этапе своего развития находится технология ИМК. Часто для оценки развития новой технологии используется концепция “цикла шумихи” (Hype cycle), предложенная компанией Gartner [11]. Согласно этой концепции любая технология (с момента своего появления до интеграции в повседневную жизнь) проходит пять стадий:
3 - появление первых публикаций о новой технологии;
4 - пика чрезмерных ожиданий, когда технология становится популярной и люди ждут от нее слишком многого;
5 - периода “избавления от иллюзий”, когда выявляются недостатки новой технологии и в обществе наблюдается некое разочарование и даже отказ от дальнейшей работы с ней;
6 - стадия преодоления недостатков, когда интерес к технологии возвращается и технология начинает постепенно внедряться в коммерческих проектах.
7 -последняя стадия, когда общество наконец адекватно оценивает плюсы и минусы новой технологии, и она прочно занимает свою нишу в жизни общества, получила название “плато продуктивности” [11].
8 Ответ на вопрос о том, на какой же из стадий находится технология ИМК, не очевиден. Cо времен пионерских публикаций Vidal [33] до появления на рынке коммерческих предложений наподобие продуктов от фирм Emotive (https://www.emotiv.com/) или Neurosky (http://neurosky.com/), ИМК технология прошла большой путь развития. На нем были и чрезмерные ожидания и периоды разочарований. На современном этапе развития потенциал ИМК технологии реализован не полностью. В настоящее время как коммерческий продукт ИМК технология по большей части служит для развлечения и экспериментов отдельных интузиастов-исследователей. Наблюдается эпизодическое применение ИМК в области ухода за пациентами. По данным некоторых авторов количество клиентов у фирм, предлагающих ИМК решения для работы с пациентами, крайне мало (по сравнению с развлекательной индустрией). Можно предположить, что ИМК технология благополучного миновала четыре первые стадии. Однако на “плато продуктивности” она пока что не вышла.
9 В настоящем обзоре будут рассмотрены принципы, лежащие в основе существующих интерфейсов “мозг–компьютер” и современных ИМК технологий в целом. Путем их анализа будет предпринята попытка описать те проблемы, которые препятствуют выходу ИМК технологии на “плато продуктивности”.
10 КЛАССИФИКАЦИЯ ИМК ТЕХНОЛОГИЙ
11 Как правило, исследования начинаются с попыток классификации изучаемых феноменов. В данном случае речь пойдет о классификации принципов, положенных в основу ИМК. Любой интерфейс “мозг–компьютер” может быть описан в терминах трех функциональных блоков:
12 1. Блок стимуляции и регистрации биологических сигналов. Под ним понимается не только метод регистрации “управляющего сигнала” — нейрофизиологических паттернов, которые в дальнейшем преобразуются в команды (ЭЭГ, движение глаз и т.п.), но и методика его получения.
13 2. Блок обработки сигналов. Комплекс программно-математических процедур для выделения “управляющего сигнала”, а также преобразования его в команду компьютера.
14 3. Исполнительный блок. Набор операций компьютера, который управляется командами пользователя.
15 На сегодняшний день варианты реализации второго блока достигли большого разнообразия. Современные разработчики ИМК применяют широкий спектр методов обработки и классификации нейрофизиологических паттернов. Так, в работах можно встретить как достаточно традиционные методы типа регрессии и линейного дискриминантного анализа, так и искусственные нейронные сети [14]. Количество вариаций и подходов к обработке сигналов велико, их рассмотрение не входило в задачи проведенного анализа.
16 Ниже представлены варианты классификации ИМК на основе принципов работы первого блока. Наиболее известным является разделение ИМК на инвазивные и неинвазивные интерфейсы [4]. Использование инвазивного интерфейса предполагает проведение хирургической операции на мозге потенциального пользователя (установку электродов или специальных микрочипов). В качестве примера можно привести ИМК, основанную на электрокортикографии (ЭКоГ). Для работы этого ИМК необходима имплантация на поверхность коры сети из электродов небольшого диаметра с небольшой (около 1 см) дистанцией между ними. Часто используются сети с большей плотностью электродов меньшего размера [15].
17 В ряде исследований показано, что сигнал ЭКоГ от электродов, расположенных таким образом над соматосенсорной и моторной областями, при совершении или воображении движения может быть использован для управления внешними объектами [31]. Предпринимаются попытки разработки технологии синтеза речи путем регистрирации ЭКоГ речевых зон [1].
18 Неинвазивные ИМК хирургических операций для своей работы не требуют. Для получения управляющего сигнала используется регистрация электрической активности мозга, движения глаз и т.п.
19 Маловероятно, что инавазивные ИМК, как например описанный выше, имеют шансы на широкое распространение в будущем. В одном исследовании был проведен опрос среди людей с нарушенными физическими возможностями — пациентов одной из американских клиник. Респондентам задавался ряд вопросов, касающихся их отношения к технологии ИМК. На ряд вопросов, связанный с предпочтениями ИМК, 84% опрошенных ответили, что предпочли бы неинвазивный интерфейс, 72% из них были готовы к амбулаторной хирургической операции (т.е. без госпитализации на длительный срок) и только 41% к операции с длительным пребыванием в больнице [16]. По этой причине внимание в данном обзоре будет сосредоточено на неинвазивных ИМК технологиях.
20 Помимо деления на инвазивные и неинвазивные, ИМК классифицируются на “зависимые” и “независимые” интерфейсы [35]. Независимые ИМК не используют стандартные (традиционные) каналы вывода команд от мозга пользователя. Примером могут служить инвазивные ИМК, приведенные выше. Фактически путем имплантации сетки из электродов создается новый канал для подачи пользователем управляющего сигнала.
21 В этом они отличаются от “зависимых ИМК”. В зависимых ИМК используются “традиционные” каналы, т.е. каналы передачи информации, которые и так используются человеком в обычной жизни. Примером могут служить интерфейсы, основанные на видеорегистрации движений глаз [18] или электроокулограмме [3].
22 Еще одна, классификация на основании принципов получения управляющего сигнала была предложена Zander с коллегами [41]. Они выделяют три типа ИМК:
23 “Активные ИМК”, в которых пользователь безусловно инициирует команду, которая передается блоку управления;
24 “Реактивные ИМК”, где пользователь инициирует команду в ответ на определенное воздействие блока управления.
25 Также в своей работе они говорят о новом, третьем типе интерфейса. Так называемом “Пассивном ИМК”. В работе этого интерфейса блок управления осуществляет “когнитивный мониторинг” состояния пользователя, анализируя его намерения и т.п. Это может выражаться в анализе активности мозга и выделении в нем определенных паттернов, связанных с “намерением действовать” [41].
26 Конечно, существующие варианты классификаций не ограничиваются вышеописанными. Но для описания принципов современных неинвазивных ИМК, что является целью настоящего обзора, данные классификации наиболее информативны.
27 Для удобства читателя обзор разделен на две части. В первой части будут рассмотрены наиболее распространенные ИМК — ИМК, основанные на регистрации электрической активности мозга. Во второй части будут рассмотрены ИМК, основанные на регистрации движений глаз и показателях оксигенации крови.
28

1. ИМК, ОСНОВАННЫЙ НА РЕГИСТРАЦИИ ЭЭГ
29 Электроэнцефалограмма представляет собой регистрацию разницы электрических потенциалов, возникающих между отведением на скальпе и индифферентной точкой (монополярная регистрация) или другим отведением (биполярная регистрация). Со времени своего открытия электроэнцефалограмма (далее — ЭЭГ) является самым распространенным методом исследования активности мозга. Несмотря на погрешности в определении пространственной локализации сигнала ЭЭГ (что отчасти может быть исправлено специальными методами обработки), ЭЭГ имеет хорошее временное разрешение, ограниченное лишь частотой квантования сигнала. Среди методов, используемых в разработках ИМК, ЭЭГ занимает ведущее положение. Причиной тому является распространенность метода и отчасти — историческая традиция. Первые работы, посвященные ИМК, были связаны именно с ЭЭГ [33].
30 Для создания ИМК на базе ЭЭГ исследователи используют ряд электрофизиологических феноменов, хорошо изученных в рамках других научных направлений. К этим феноменам относятся:
31 - Устойчивые зрительные вызванные потенциалы (УЗВП)
32 - Медленные потенциалы коры (МПК)
33 - Потенциал P300
34 - Спектральные характеристики ЭЭГ
35

1.1. УСТОЙЧИВЫЕ ЗРИТЕЛЬНЫЕ ВЫЗВАННЫЕ ПОТЕНЦИАЛЫ
36 Многочисленные исследования показывают, что нейроны в зрительной коре головного мозга способны синхронизировать свою работу с частотой ритмично вспыхивающего света. При регистрации ЭЭГ это отражается в наличии повторяющихся пиков, частота появления которых синхронна с частотой появления вспышек (Рис. 1).
37

Рис. 1. УЗВП, вызванный ритмической стимуляцией с интервалом в 500 мс. Отведение O1. (взято из [13]).
38 Эти пики и получили название “устойчивые зрительные вызванные потенциалы” (steady-state visual evoked potentials). Также этот феномен называется “реакцией усвоения ритма” (photic driving rhythm) и используется в качестве метода активации в клинической практике [13]. УЗВП могут быть вызваны стимуляцией слабой интенсивности, такой как частота обновления монитора (до 75 Гц), когда мелькание не воспринимается на уровне сознания [23]. В ряде исследований была показана потенциальная возможность использования УЗВП для контроля за фокусом внимания субъекта. В ситуации, когда субъект следит за мигающим светом, амплитуда УЗВП значительно увеличивается [19].
39 Однако многие исследователи отмечают определенные недостатки УЗВП. Например, не все частоты стимуляции вызывают стабильные высокие ответы. Кроме того амплитуда УЗВП находится в некоторой зависимости от особенностей субъекта и других переменных исследования: цвета, размера и контраста зрительных стимулов [42].
40 Тем не менее, ряд исследователей попытались использовать УЗВП в качестве управляющего сигнала. Так, в исследовании Guger с соавторами участники фиксировали взгляд на одном из четырех светодиодов, которые мигали с разной частотой (10, 11, 12, 13 Гц). В процессе исследования регистрировалось ЭЭГ с затылочных отведений. В исследовании приняли участия 53 человека. После тренировочной серии и обучения классификатора паттернов активности мозга у большинства участников точность распознавания сигнала (определения того, на какой из светодиодов направлен взгляд) составила выше 80.2%. Ни у кого из участников точность не была ниже 60% [12].
41 В работе Hwang с соавторами предпринималась попытка создания QWERTY клавиатуры, нажатия на клавиши которой будет осуществляться при помощи регистрации УЗВП пользователя. Каждой клавише была присвоена своя частота мигания в полосе частот от 5 до 9.0 Гц (Рис. 2). Все частоты были подобраны эмпирически после тестирования на самих участниках. Частота распределялась последовательно, чтобы свести к минимуму стимуляцию периферического зрения. Минимальная разница частот между соседними клавишами составляла 0.7 Гц. Результаты работы с данной клавиатурой показали среднюю скорость набора 9.39 букв в минуту и среднюю точность опознания “нажатия” 87.58% [17].
42

Рис. 2. QWERTY клавиатура и частоты мигания (изображены на клавишах, Гц) (взято из [17]).
43 В работе Lim с соавторами УЗВП был использован для создания “кнопки экстренного вызова”, которую должны были нажимать здоровые участники и пациенты. В качестве кнопки использовался небольшой мигающий квадратик в углу экрана монитора компьютера. Результаты показали, что используя данную технологию пациенты успешно вызывали своих опекунов, хотя нажатие кнопки требовало примерно 6.56 секунды [22].
44

1.2. МЕДЛЕННЫЕ ПОТЕНЦИАЛЫ КОРЫ
45 Еще один нейрофизиологический феномен, которому нашли применение при в разработке ИМК, получил название “медленные потенциалы коры больших полушарий” (slow cortical potentials). Под медленными потенциалами коры (далее МПК) понимается группа потенциалов, развивающихся в интервале с 0.5 сек до нескольких секунд от вызвавшего их события [5]. Так, под определение “медленный потенциал коры” попадает как условное негативное отклонение, развивающееся между предупреждающим и целевым стимулами [34], так и известный Bereitschafts potential или потенциал готовности [2]. Сходство медленных потенциалов заключается в том, что они так или иначе связаны с подготовкой человека к действию.
46 Так условное негативное отклонение наиболее выражено в ситуациях, когда при появлении целевого стимула участник должен дать моторный ответ [34], а негативный потенциал готовности имеет место за 500–800 мс до появления электромиограммы, связанной с неким физическим действием (например движением пальца) [6].
47 Однако интерес разработчиков ИМК к данным потенциалам был вызван не только этим. В ряде исследований было показано, что участники способны обучаться управлять амплитудными характеристиками МПК в задачах с биологической обратной связью.
48 В работе Elbert участникам предъявлялся акустический предупреждающий сигнал, после которого на экране монитора возникало изображение летящей ракеты и двух целей перед ней. Задача участника состояла в том, чтобы в зависимости от типа акустического сигнала навести ракету на верхнюю или нижнюю цель. Положение ракеты зависело от амплитуды МПК, развивающегося от акустического сигнала и регистрировавшегося в области вертекса (макушка головы). Эффективность наведения оценивалась начислением или вычитанием игровых очков. Эксперимент состоял из двух частей. В первой (обучающей) части участник слышал акустический сигнал, видел ракету и игровые очки. Во второй части участник слышал только акустический сигнал. Результаты исследования показаны на рисунке (Рис. 3). Результаты исследования показали, что участники успешно обучались управлять амплитудой МПК (и как можно понять из рисунка в данном исследовании им являлось условное негативное отклонение) [8].
49 Подобные исследования инициировали целый ряд попыток создать ИМК на основе медленных потенциалов.
50

Рис. 3. Стадии научения управлению амплитудой МПК. Результаты усреднения нескольких проб. Левая верхняя четверть — 1–40 пробы; правая верхняя — 51–90 пробы; левая нижняя — 41–50 пробы; правая нижняя — 91–100 пробы. Черная линия — МПК в ситуациях, где необходимо увеличить амплитуду; прерывистая линия — МПК в ситуациях, где требовалось уменьшить амплитуду. А — МПК с обратной связью; В — МПК без обратной связи (взято из [8]).
51 В работе Birbaumer пять пациентов с ограниченной подвижностью использовали МПК для управления курсором, позволяющим выбирать буквы из алфавита на экране монитора компьютера. Алфавит делился на две половины, представленные внизу экрана. После выбора участником одной из них, выбранная часть алфавита разделялась еще на две. Такое деление повторялось вплоть до выбора одной из двух букв. После выбора нужной буквы все начиналось заново. МПК использовался для управления движением курсора — указателя выбранной половины. После обучения участников средняя точность опознания команд равнялась 75%. Скорость набора составила около 2 минут на одно слово. Авторы отмечают, что скорость набора слов может быть увеличена путем введения подсказок для слов и автозавершением сокращений, которые уже существуют в современных программах [6].
52 В еще одной работе пациенты с синдромом деэфферентации обучались при помощи МПК передвигать курсор на экране компьютера с целью выбора букв. Полученные результаты показывают, что после обучения, длительность которого составила от 3 до 8 недель, можно достичь точности более 90% [20].
53

1.3. СВЯЗАННЫЙ С СОБЫТИЕМ ПОТЕНЦИАЛ P300 (P3B)
54 Потенциал Р300 (P3 wave) как правило выделяется в специфической ситуации, а именно когда участнику среди череды случайных стимулов (зрительных или акустических) предъявляются целевые стимулы (oddball парадигма) [28]. Многие авторы разделяют P300 на два субкомпонента Р3а и Р3b, которые имеют разную топографию регистрации и, возможно, разный генез [38].
55 Потенциал Р300 имеет высокую амплитуду пика и легко выделяется при усреднении. Как правило, для выделения Р300 из шума достаточно 35–60 эпох анализа, что относительно немного, если сравнивать с более низкоамплитудными компонентами типа N2 [37]. Однако самым существенным качеством Р300 (Р3b) является то, что амплитуда потенциала модулируется вниманием участника. В качестве примера можно привести рисунок (Рис. 4), взятый из статьи Пиктона.
56

Рисунок 4. Амплитуда компонента P3b (толстая черная линия) в ситуации, когда участник обращает внимание на стимул и когда игнорирует его (взято из [28]).
57 На рисунке показаны различия амплитуды Р300 в ситуации, когда участник обращает внимание на стимул и когда его игнорирует. Следовательно, предъявляя участникам различные стимулы, можно понять, на какой из них человек обращает внимание. Участника, в свою очередь, можно попросить обращать внимание на тот стимул, который требуется ИМК в качестве команды. Этот принцип и лег в основу ИМК, основанного на выделении P300.
58 В качестве примера можно привести одну из первых работ в этом направлении, работу Farwell и Donchin. В данном исследовании участнику на экране монитора компьютера предъявлялась матрица из букв и знаков 6 на 6 (Рис. 5).
59

Рисунок 5. Матрица для набора слов (взято из [9]).
60 В течении каждых 124 мс колонка или строка матрицы подсвечивалась на 100 мс (выглядит как однократное мигание). Участника просили подсчитывать, сколько раз мигнула колонка или строка, содержащая выбранную букву. Связанная с миганием активность мозга регистрировалась в отведении Pz (теменная область) и усреднялась для каждой полосы и колонки. На основании разности амплитуд выдавалось решение о том, какая из букв была выбрана [9]. В этой работе авторами была проанализирована взаимосвязь скорости набора букв и точности опознания команд (которая напрямую зависит от количества эпох анализа и, следовательно, от времени предъявления). Оказалось, что при достижении скорости 1 стимул в 20.9 сек точность опознания будет равняться 80%, в то время как увеличив точность до 95%, на выбор одной буквы потребуется 26 секунд [9].
61 Появление современных возможностей обработки сигнала позволило улучшить показатель точности без увеличения времени набора. В работе Speier с соавторами участники, используя Р300, могли печатать не менее шести символов в минуту с точностью более 84% [31].
62 В процессе многочисленных исследований ИМК, основанных на Р300, были выявлены некоторые недостатки. В частности, оказалось, что амплитуда потенциала может редуцироваться со временем вследствие привыкания к знакомым стимулам [29]. Это уменьшает возможности выделения потенциала и сказывается на точности. Кроме того обнаружилась проблема “смежности”, вызванная миганием строк или столбцов, которые находятся рядом, с целью, которую выбрал участник исследования. Это приводит к непреднамеренному увеличению амплитуды P300 [10]. Современные исследователи пытаются решать эти проблемы разными способами. Например, в недавней работе Yu с соавторами в качестве указателя для букв использовалось изображение человеческого лица. В исследовании с участием 15 участников (8 из которых были пациентами с синдромом деэфферентации) проводилось сравнение между стандартной формой выделения букв (путем подсвечивания) и нестандартной (буквы закрывались изображениями лиц). Для решения проблемы смежности вместо выделения строк и колонок букв использовалась подсветка их случайного набора (Рис. 6).
63

Рисунок 6. Экран с ИМК, основанном на выделении Р300. А — серия с использованием лиц, В — серия с использованием подсветки. С — области регистрации вызванной активности (взято из [40]).
64 В первом случае от участника требовалось подсчитывать число раз, когда целевая буква подсвечивается. Во втором — число раз, когда целевую букву закрывает лицо. Полученные данные показали, что при работе с “лицевым” интерфейсом в течении получаса редукции амплитуды Р300 не наблюдалось [40].
65

1.4. СПЕКТРАЛЬНЫЕ ХАРАКТЕРИСТИКИ ЭЭГ
66 Помимо выделения потенциалов, связанных с событием, в разработке ИМК используются и другие электрофизиологические феномены. В настоящем разделе речь пойдет о выделении связанной с событием десинхронизации (event related desynchronization, ERD) и связанной с событием синхронизации (event related synchronization ERS) ритмов.
67 Частотный (а иногда и визуальный) анализ электрической активности мозга позволяет выделить в ней ритмики, характеризующиеся разной частотой. Помимо этого определенные события могут привести к явлению десинхронизации — подавлению ритмики. Так, в ситуации спокойного бодрствования резкий звук или громкий хлопок может привести к исчезновению альфа ритма. Это самый простой пример связанной с событиями десинхронизации (далее ССД).
68 Существуют критерии определения ССД, поэтому не каждое изменение в ритмике ЭЭГ может им называться. Данное понятие применимо только в том случае, если мощность ритма ярко выражена за несколько секунд до события и исчезает после него. Тоже самое можно говорить и о связанной с событиями синхронизации: мощность ритма не должна быть значительной за несколько секунд до события и должна появиться после него [26].
69 Необходимость анализа спектра налагает определенные условия на процедуру выявления ССД. Для оценки спектра следует анализировать достаточно продолжительные интервалы до и после события. В ситуации, когда стимуляция осуществляется неоднократно, неотъемлемой частью анализа данных является усреднение [26].
70 Применительно к ИМК, в литературе как правило упоминается роландический (мю) ритм. По частотности данный ритм входит в альфа диапазон (частота роландического ритма составляет 8–13 Гц). Топографически роландический ритм регистрируется только над центральной (роландовой) бороздой коры больших полушарий [26].
71 Важнейшим свойством данного ритма является его десинхронизация при произвольном движении. При этом полушарие, где наблюдается десинхронизация, контралтерально органу, производящему это движение [26].
72 Помимо этого ССД роландического ритма наблюдается не только при реальном, но и воображаемом движении [27].
73 Именно эти свойства и сделали данный ритм объектом в исследованиях ИМК.
74 В работе Wolpaw с соавторами люди обучались произвольно контролировать роландический ритм для управления курсором на экране монитора компьютера. Регистрация осуществлялась при помощи 64 электродов. Полученные данные обрабатывались при помощи компьютерной программы (Рис. 7).
75

Рисунок 7. Организация исследования Wolpaw с соавторами . На рисунке схематично отображен процесс цифровой обработки сигнала ЭЭГ (DSP): разложение ритмики мозга в спектр и преобразование в команду управления курсором. Для удобства показано одно отведение (взято из [36]).
76 В ходе 5–10 занятий по 30 минут, проводившихся в течении 2–3 недель, участники исследования смогли обучиться эффективному управлению собственными ритмами. Авторы отмечают, что вначале участникам требовалось воображать некое движение, чтобы взять ритмы под контроль. По мере дальнейшего обучения образы использовались все реже, а пользователи перемещали курсор так, как выполняли бы обычные действия [36].
77 Помимо роландического ритма во многих исследованиях также показана эффективность использования бета-ритмики. Так, в исследовании McFarland с соавторами для управления курсором на экране компьютера использовался роландический и бета ритмы (частоты от 18 до 25 Гц). Аналогично исследованию Wolpaw с соавторами, участникам нужно было воображать движение. При воображении была показана десинхронизация как мю, так и бета ритмов [24].
78 Одной из перспективных областей применения ИМК на основе анализа ритмов является нейропротезирование — создание приборов, которые позволят ограниченному в подвижности человеку выполнять различные действия. Анализ связанных с воображением движений изменений ритма над сенсомоторными областями коры показывают принципиальную возможность выделить и классифицировать паттерны активности мозга, характерные для достаточно сложных движений [39]. В работе Mishchenko с соавторами была предпринята попытка использовать воображение движений для управления роботом-манипулятором. Участников просили воображать движения руками и ногами. Нейрональный паттерн, связанный с воображением определенного движения, служил командным сигналом для управления роботом. Так, воображение движения правой и левой рукой использовалось для поворота робота-манипулятора вправо и влево, а воображение движения левой и правой ногой служили командами к движению манипулятора вперед и назад. Для сжимания и разжимания клешни манипулятора были использованы паттерны, связанные с воображением движения языка. Следует отметить, что для эффективного выделения паттернов требовалось 15 минутное обучение классификатора. В эксперименте участвовало 12 участников. Точность распознавания команд у всех участников оказалось высокой. У троих она достигла 80–90%. Для некоторых участников при выполнении тестового задания (было необходимо, чтобы робот выполнил некоторые действия) требовалось 5–10 секунд для генерации команды на выполнение одного движения [25].
79 В работе Rodríguez-Bermúdez с соавторами схожая методика был использована для “управления самолетом”. По указанию стрелки на экране компьютера участники должны были представить те движения, которые надо было производить для направления самолета вправо (перемещение руля вправо правой рукой и одновременное нажатие правой ногой на педаль) или влево. Анализировалась электрическая активность мозга в альфа (8–12 Гц) и бета диапазоне (полоса 16–24 Гц). В ходе обучения некоторые участники смогли достичь высокой точности в управлении. Интересно отметить, что бывшие пилоты (которые были в числе участников) справлялись с заданием более эффективно, чем те, кто пилотами не были [30].
80 Одним из существенных ограничений в использовании подобного ИМК для нейропротезирования является необходимость визуальной обратной связи при обучении управлению движениями. Как в случае с роботом-манипулятором, так и в случае с курсором пользователь должен видеть результат собственных усилий. Между тем для обучения управлению гипотетической роботизированной конечностью подобная обратная связь вряд ли будет очень эффективной. Целый ряд исследований был посвящен замене визуальной обратной связи на вибротактильную, при которой сигнал об успешности управления передается при помощи вибромоторчика, установленного на поверхности тела пользователя.
81 В работе Chatterjee с соавторами для управления курсором мыши на экране монитора компьютера было использовано воображение движения. Однако изображение курсора не только отображалось визуально, но и передавалось тактильно при помощи вибротактильного раздражителя, установленного на верхнюю конечность. Было показано, что участники способны управлять курсором, используя только вибротактильную обратную связь. При этом точность верного опознания сигнала составляла в среднем от 56% до 72% [7].
82 Способность к обучению управлению движениями на основе только вибротактильной обратной связи без визуальной обратной связи (участники были с закрытыми глазами) показана в работе Либуркиной и коллег [21].
83

ЗАКЛЮЧЕНИЕ
84 В первой части обзора были описаны наиболее распространенные принципы ИМК технологий, основанные регистрации ЭЭГ. Их применение обеспечивает достаточно высокий процент опознания управляющего сигнала. В исследованиях большинства авторов средняя точность опознания команды колеблется от 56% до 72% [7], а также 80.2% [12] и даже более [32]. При этом опыт пользователя оказывает значительное влияние на точность опознания [30]. Так, при использовании МПК обучение оператора может повысить его точность до уровня 90% и более [20].
85 Значительно хуже обстоит дело со скоростью передачи команд от пользователя. Генерацию одной команды управления длительностью от пяти до десяти секунд [25] и скорость набора на виртуальной клавиатуре от девяти [17] до шести символов в минуту [32] быстрыми назвать нельзя. Если учесть, что в некоторых случаях требуется время для обучения и самого классификатора управляющих сигналов [25], то можно констатировать, что основной проблемой ИМК технологий, основанных на регистрации ЭЭГ, является медленная скорость генерации команд. Применение столь медленных средств генерации команд не привлекательно для обычного пользователя. Высокие показатели точности ситуацию исправить не могут.
86 В связи с этим наряду с ИМК, основанными на регистрации ЭЭГ, многие исследователи пытаются создать зависимые ИМК: интерфейсы, основанные на регистрации движений глаз и их “гибридные” варианты. Такие ИМК требуют меньше времени для обучения и отличаются относительно более высокой скоростью генерации команд. О них и пойдет речь в следующей части обзора.

Библиография

1. Akbari H.,Khalighinejad B., Herrero J., Mehta A., Mesgarani N. Towards reconstructing intelligible speech from the human auditory cortex // Sci rep. 2019. 9 (1). P. 1–12. doi: 10.1038/s41598-018-37359-z.

2. Allison T. Recovery functions of somatosensory evoked responses in man // Electroencephalogr Clin Neurophysiol. 1962. № 14. P. 331–343. doi: 10.1016/0013-4694(62)90110-4.

3. Banerjee, A., Monalisa Р., Datta S., Tibarewala D., Konar A. Voluntary eye movement controlled electrooculogram based multitasking graphical user interface // International Journal of Biomedical Engineering and Technology. 2015. № 18(3). P. 254–271 doi: 10.1504/IJBET.2015.070574.

4. Belkacem A., Jamil N., Palmer J., Ouhbi S., Chen C. Brain computer interfaces for improving the quality of life of older adults and elderly patients // Frontiers in neuroscience, 2020. № 14 (692). P. 1–11. doi: https://doi.org/10.3389/fnins.2020.00692.

5. Birbaumer N., Elbert T., Canavan A. G., Rockstroh B. Slow potentials of the cerebral cortex and behavior // Physiological Reviews. 1990. 70 (1). P. 1–41. doi:10.1152/physrev.1990.70.1.1.

6. Birbaumer N, Kubler A, Ghanayim N, Hinterberger T, Perelmouter J, Kaiser J, Iversen I, Kotchoubey B, Neumann N, Flor H. The thought translation device (TTD) for completely paralyzed patients // IEEE Trans Rehabil Eng. 2000. № 8. P. 190–192.

7. Chatterjee A., Aggarwal V., Ramos A., Acharya S., Thakor N.V. A brain-computer interface with vibrotactile biofeedback for haptic information // Journal of NeuroEngineering and Rehabilitation // 2007. № 4 (40). P. 1–12 doi:10.1186/1743-0003-4-40.

8. Elbert T., Rockstroh B., Lutzenberger W., Birbaumer N. Biofeedback of slow cortical potentials // Electroencephalography and Clinical Neurophysiology. 1980. № 48(3). P. 293–301. doi:10.1016/0013-4694(80)90265-5.

9. Farwell L., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalogr Clin Neurophysiol. 1988. № 70(6). P. 510–523. doi: 10.1016/0013-4694(88)90149-6. PMID: 2461285.

10. Fazel-Rezai R. Human error in P300 speller paradigm for brain-computer interface / Annu Int Conf IEEE Eng Med Biol Soc. 2007. P. 2516–2519. doi: 10.1109/IEMBS.2007.4352840.

11. Fenn J., Raskino M. Mastering the hype cycle: how to choose the right innovation at the right time. Harvard Business School Press, 2008.

12. Guger C., Allison B., Growindhager B., Pruckl R., Hintermuller C., Kapeller C., Bruckner M., Krausz G., Edlinger G. How many people could use an SSVEP BCI? // Front Neurosci. 2012. № 6 (169). P.1–6. doi: 10.3389/fnins.2012.00169.

13. Herrmann С. Human EEG responses to 1-100 Hz flicker: resonance phenomena in visual cortex and their potential correlation to cognitive phenomena // Exp. Brain Res. 2001. № 137(3–4). P. 346-53. doi: 10.1007/s002210100682.

14. Hongmei C., Qin J., Wenzhang L., Xiujun L. Review article: the key technologies of brain-computer interface // Journal of Physics: Conference Series. 2020. doi: 10.1088/1742-6596/1544/1/012190.

15. Hotson G., Mcmullen D., Matthew F., Johannes M., Katyal K., Para M., Armiger R., Anderson W., Thakor N., Wester B. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject // Journal of neural engineering, 2016. № 13 (2). doi: 10.1088/1741-2560/13/2/026017.

16. Huggins J., Wren P., Gruis K. What would brain-computer interface users want? Opinions and priorities of potential users with amyotrophic lateral sclerosis // Amyotrophic lateral sclerosis, 2011. № 12 (5). P. 318–324. doi: 10.3109/17482968.2011.572978

17. Hwang H., Lim J., Jung Y., Choi H., Lee S., Iim C. Development of an SSVEP-based BCI spelling system adopting a QWERTY-style LED keyboard // J Neurosci Methods. 2012. № 208(1). P. 59–65. doi: 10.1016/j.jneumeth.2012.04.011.

18. Jacob R. Eye movement-based human-computer interaction techniques: toward non-command interfaces // Advances in human-computer interaction. 1993. Vol. 1. № 4. P. 151–190.

19. Kelly S., Lalor E., Finucane C., Mcdarby G., Reilly R. Visual spatial attention control in an independent brain-computer interface // EEE trans biomed eng. 2005. Vol. 9. № 52. P. 1588–1596. doi: 10.1109/TBME.2005.851510.

20. Kubler A., Neumann N., Kaiser J., Kotchoubey B. Brain-computer communication: self-regulation of slow cortical potentials for verbal communication // Archives of physical medicine and rehabilitation. 2001. Vol. 11. № 82. P. 1533–1539. doi: 10.1053/apmr.2001.26621.

21. Liburkina S., Vasilyev A., Yakovlev L., Gordleeva S., Kaplan A. A motor imagery-based brain–computer interface with vibrotactile stimuli // Neuroscience and behavioral physiology. 2018. Vol. 1. № 48. P. 1067–1077. doi: 10.1007/s11055-018-0669-2.

22. Lim J., Kim Y., Lee J., An K., Hwang H., Cha H., Han C., Im C. An emergency call system for patients in locked-in state using an SSVEP-based brain switch // Psychophysiology. 2017. Vol. 11. № 54. P. 1632–1643. doi: 10.1111/psyp.12916.

23. Lyskov E., Ponomarev V., Sandstrom M., Mild K., Medvedev S. Steady-state visual evoked potentials to computer monitor flicker // Int j psychophysiol. 1998. Vol. 3. № 28. P. 285–290. doi: 10.1016/s0167-8760(97)00074-3.

24. Mcfarland D., Sarnacki W., Wolpaw J. Electroencephalographic (EEG) control of three-dimensional movement // J neural eng. 2010. Vol. 3. № 7. doi: 10.1088/1741-2560/7/3/036007.

25. Mishchenko Y., Kaya M., Ozbay E., Yanar H. Developing a three- to six-state EEG-based brain-computer interface for a virtual robotic manipulator control // IEEE trans biomed eng. 2019. Vol. 4. № 66. P. 977–987. doi: 10.1109/TBME.2018.2865941.

26. Pfurtscheller G., Da Silva L. Event-related EEG/MEG synchronization and desynchronization: basic principles // Clin neurophysiol. 1999. Vol. 11. № 110. P. 1842–1857. doi: 10.1016/s1388-2457(99)00141-8.

27. Pfurtscheller G., Neuper C. Motor imagery activates primary sensorimotor area in humans // Neurosci lett. 1997. Vol. 2. № 239. doi: 10.1016/s0304-3940(97)00889-6

28. Picton T. The P300 wave of the human event-related potential // Journal of clinical neurophysiology: official publication of the American electroencephalographic society. 1992. № 9. P. 456–479. doi: 10.1097/00004691-199210000-00002.

29. Ravden D., Polich J. Habituation of P300 from visual stimuli // Int j psychophysiol. 1998. Vol. 3. № 30. P. 359–365. doi: 10.1016/s0167-8760(98)00039-7.

30. Rodriguez-Bermudez G., Lopez-Belchi A., Girault A. Testing brain–computer interfaces with airplane pilots under new motor imagery tasks // International journal of computational intelligence systems. 2019. P. 1–10. doi: 10.1016/s0167-8760(98)00039-7.

31. Schalk G., Leuthardt E. Brain-computer interfaces using electrocorticographic signals // IЕЕЕ reviews in biomedical engineering. 2011. № 4. P. 140–154. doi: 10.1109/RBME.2011.2172408.

32. Speier W., Chandravadia N., Roberts D., Pendekanti S., Pouratian N. Online BCI typing using language model classifiers by ALS patients in their homes // Brain-computer interfaces. 2016. Vol. 1. № 4. P. 114–121. doi: 10.1080/2326263x.2016.1252143.

33. Vidal J. Real-time detection of brain events in EEG // Proceedings of the IEEE. 1977. Vol. 5. № 65. P. 633–641. doi: 10.1109/PROC.1977.10542.

34. Walter W., Cooper R., Aldrige V., Mccallum W., Wintter A. Contingent negative variation: an electric sign of sensorimotor association and expectancy in the human brain // Nature. 1964. Vol. 203. № 25. P. 380–384. doi: 10.1038/203380a0.

35. Wolpaw J., Birbaumer N., Mcfarland D., Pfurtscheller G., Vaughan T. Brain–computer interfaces for communication and control // Clinical neurophysiology. 2002. Vol. 6. № 113. P. 767–791. doi: 10.1016/s1388-2457(02)00057-3.

36. Wolpaw J., Mcfarland D., Vaughan T. Brain–computer interface research at the Wadsworth Center // IEEE trans rehabil eng. 2000. Vol. 2. № 8. P. 222–225. doi: 10.1109/86.847823.

37. Woodman G. A brief introduction to the use of event-related potentials in studies of perception and attention // Atten percept psychophys. 2010. Vol. 8. № 72. P. 2031–2046. doi: 10.3758/APP.72.8.2031.

38. Wronka E., Kaiser J., Coenen A. Neural generators of the auditory evoked potential components P3a and P3b // Acta neurobiol exp (wars). 2012. Vol. 1. № 72. P. 51–64.

39. Yi W., Qiu S., Qi H., Zhang L., Wan B., Ming D. EEG feature comparison and classification of simple and compound limb motor imagery // Journal of neuroengineering and rehabilitation. 2013. Vol. 1. № 10. doi: 10.1186/1743-0003-10-106.

40. Yu X., Da Silva-Sauer L., Donchin E. Habituation of P300 in the use of P300-based brain-computer interface spellers: individuals with amyotrophic lateral sclerosis versus age-matched controls // Clinical EEG and neuroscience. 2020. Vol. 3. № 52. P. 221–230. doi: 10.1177/1550059420918755

41. Zander T., Kothe C. Towards passive brain-computer interfaces: applying brain-computer interface technology to human-machine systems in general // J neural eng. 2011. Vol. 2. № 8. doi: 10.1088/1741-2560/8/2/025005.

42. Zhu D., Bieger J., Molina G., Aarts R. A survey of stimulation methods used in SSVEP-based BCIs // Computational intelligence and neuroscience. 2010. № 1. P. 1–12. doi: 10.1155/2010/702357.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести