Везде
Интерфейс мозг–компьютер: основные подходы. Часть II. Интерфейсы на основе регистрации движений глаз и уровня оксигенации крови
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Интерфейс мозг–компьютер: основные подходы. Часть II. Интерфейсы на основе регистрации движений глаз и уровня оксигенации крови
Аннотация
Код статьи
S020595920019418-5-1
DOI
10.31857/S020595920019418-5
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Медынцев Алексей Алексеевич 
Должность: Научный сотрудник
Аффилиация: ФГБУН Институт психологии РАН
Адрес: Российская Федерация, Москва
Выпуск
Том 43 № 2
Страницы
116-127
Аннотация

Представлена заключительная часть информационно-аналитического обзора принципов, лежащих в основе разработки интерфейсов “мозг–компьютер”. В данной части рассмотрены “зависимые” интерфейсы, основанные на видеорегистрации движений глаз (направления взора), регистрации электроокулограммы, а также на показателях оксигенации крови. Сделан вывод о том, что во всех приведенных исследованиях точность опознания управляющего сигнала редко падала ниже 60 %, а в некоторых случаях стремилась к более чем 90 %. На основе анализа принципов, представленных в двух частях обзора, делаются выводы относительно проблем, которые не позволяют технологии занять прочное место в нашей жизни — выйти на “плато продуктивности”. Предполагается, что основным препятствием, стоящим на пути развития ИМК технологии, является сосредоточенность разработчиков на показателях точности распознавания управляющего сигнала в ИМК системах без необходимого учета удобства и легкости взаимодействия пользователя с системой. Кроме того отмечено, что для реализации потенциала технологии “интерфейс мозг–компьютер” необходимо решить проблемы скорости передачи данных и предварительного обучения пользователя и компьютера.

Ключевые слова
интерфейс “мозг–компьютер”, движения глаз, направление взгляда, электроокулограмма, оксигенация крови
Источник финансирования
Работа выполнена по госзаданию № 0138-2022-0009.
Классификатор
Получено
27.05.2021
Дата публикации
11.05.2022
Всего подписок
11
Всего просмотров
165
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
1 Интерфейсы “мозг–компьютер” (ИМК), основанные на регистрации электрической активности мозга (ЭЭГ), которые были описаны в первой части обзора, наиболее распространены. В поисковой веб-платформе Web of Science с 2012 по 2016 год 46 % от всех статей, посвященных тематике ИМК, было посвящено интерфейсам, связанным с регистрацией ЭЭГ [39].
2 Эта часть обзора будет посвящена менее распространенным, но не менее перспективным направлениям в разработке ИМК. Это ИМК, основанные на регистрации движений глаз и показателях оксигенации крови.
3 Интерфейс “мозг–компьютер”, основанный на регистрации движений глаз, является типичным примером так называемого “зависимого интерфейса”, то есть использующего традиционные каналы получения команд от мозга пользователя [42]. Это значительно упрощает проблему обучения субъекта пользованию подобным ИМК, выделения “управляющего сигнала” и немного увеличивает скорость обмена данными между пользователем и управляемым устройством.
4 Регистрация показателей оксигенации крови традиционно связывается с применением функциональной магнитно-резонансной томографии. Сложность в эксплуатации и дороговизна магнитных томографов может вызвать оправданный вопрос о возможности практического использования таких ИМК. Однако помимо томографии современные исследователи располагают и другими методами измерения оксигенации крови. В частности определенное распространение в исследования получила методика “ближней инфракрасной спектроскопии” (near-infrared spectroscopy) [21], которая является более дешевым (хотя и менее точным) аналогом томографии. Исследования в области ИМК с ее использованием будут представлены ниже.
5

1. ИМК, основанные на регистрации движений глаз
6 Интерфейсы, основанные на регистрации движений глаз, недалеко ушли от традиционной формы взаимодействия человека с компьютером. В управление устройством вовлекаются глазодвигательные мышцы, которые сознательно контролируются пользователем. Задача ИМК сводится лишь к точному определению направления взгляда и выполнению соответствующей команды.
7 Развитие ИМК, основанных на движении глаз, имеет определенные перспективы. Подобные ИМК могут быть востребованы здоровыми пользователями в ситуациях, когда управление руками или ногами сильно затруднено. Кроме того такие ИМК могут использоваться пациентами с “неполным” синдромом деэфферентации, когда пациент сохраняет способность двигать глазами [4].
8 Ниже будут рассмотрены два подхода к созданию таких ИМК:
9 - ИМК, основанный на видеорегистрации движений глаз;
10 - ИМК, основанный на регистрации электроокулограммы (ЭОГ);
11

1.1. ИМК, основанный на видеорегистрации движений глаз
12 В основе метода видеорегистрации направления взгляда (video-based eye tracker) лежат два эффекта, связанных с взаимодействием света и глазного яблока: способность роговицы глаза отражать источник света, создавая блик, и способность сетчатки отражать инфракрасный свет. Анализ взаимного положения подсвеченной сетчатки и блика на роговице, при условии, что источник инфракрасного излучения статичен, позволяет рассчитать направление взгляда [18].
13 Использование методики имеет свои недостатки. Корректной видеофиксации направления взгляда могут помешать другие источники инфракрасного света, блики от очков или контактных линз, тушь на ресницах или отвисшие веки. Кроме того, перед работой с видеорегистратором пользователю необходимо пройти процедуру калибровки — сопоставить положения блика и подсвеченной сетчатки с конкретными точками на экране [7]. Следует отметить, что наиболее часто применяемый в таких ИМК принцип работы был предложен задолго до широкого распространения самой техники видеорегистрации. Он получил название Eye-Link и применялся для облегчения общения с обездвиженными пациентами.
14

Рис. 1. Техника общения Eye-Link (взято из [16]).
15 Метод требовал использования широкой пластины из плексигласа с нанесенными на нее буквами и словами (Рис 1). Получатель сообщения медленно поднимал такую пластину на уровне глаз отправителя (пациента) и медленно двигая пластину по вертикали и горизонтали следил за тем на какой букве (или слове) пациент зафиксирует взгляд. Выбор того, каким образом сообщение будет передаваться (по буквам или целыми словами) осуществлялся в самом начале. Пациент указывал взглядом влево (слова) или вправо (буквы) [16].
16 Взяв данную методику за основу, разработчики ИМК автоматизировали ее. Для оценки фиксации взгляда было использовано “время фиксации” — время задержки взгляда на выбранном пользователем знаке (dwell time).
17 Такой ИМК представлял собою виртуальную клавиатуру, отображаемую на экране монитора компьютера перед пользователем. Для набора слов пользователь переводил взгляд от буквы к букве, выбирая нужную. Выбрав нужную букву, пользователь фиксировал на ней взгляд. Программа ИМК определяла направление взгляда и подсчитывала время фиксации. Фиксация, превышающая определенное время, считалась командой к исполнению [20; 27]. Время такой “пороговой” фиксации варьировалось в разных работах, обычно составляя от 400 до 1000 мс. При этом точность определения символа на данной клавиатуре после корректно проведенной калибровки являлась высокой.
18 Подобный принцип применялся не только для работы с клавиатурой. В разные годы на этом принципе исследователями были разработаны система управления компьютером при помощи меню с древовидной иерархической структурой [18] и программа для управления роботом-манипулятором [14].
19 Но к сожалению время фиксации напрямую влияло на скорость передачи данных от пользователя. В случае с клавиатурой скорость набора текста составляла не более 6–7 слов в минуту [27].
20 Попытки уменьшить время фиксации (и увеличить скорость ввода информации) привели исследователей к проблеме, названной проблема “прикосновения Мидаса” (Midas Touch). Суть ее заключается в том, что при выполнении задачи сделать что-либо при помощи клавиатуры (или пульта управления) пользователь часто непреднамеренно фиксирует взгляд на объектах управления (виртуальных кнопках) до возникновения желания что-либо делать с ними. В случае ИМК, основанного на длительности фиксаций, такие непреднамеренные фиксации воспринимаются как команды к действию [20]. Это приводит к ложным срабатываниям, и следовательно, к уменьшению точности распознавания команд.
21 Борьба с проблемой “прикосновения Мидаса” при одновременной попытке увеличить скорость передачи данных пошла по двум направлениям:
22 - изменение принципа ввода команд и попытка отказаться от использования времени фиксаций (принцип dwell-free);
23 - создание “гибридных систем”, где регистрация движений глаз совмещается с регистрацией ЭЭГ, а триггером принятия команды служат нейрональные корреляты, связанные с фиксацией.
24 Одним из примеров dwell-free принципа является интерфейс, использованный в одной из работ [40]. В данном исследовании авторы самостоятельно не разрабатывали какой-то новый принцип, а использовали разработанный и свободно распространяемый интерфейс бескнопочного ввода Dasher (http://www.inference.org.uk/dasher/).
25

Рис. 2. Интерфейс программы ввода текста Dasher (http://www.inference.org.uk/dasher/)
26 Окно программы интерфейса Dasher разделено на две части вертикальной линией. Буквы для ввода расположены справа от линии. Указывая курсором мышки на одну из букв пользователь инициирует ее приближение к вертикальной линии в центре. Та буква, которая миновала линию, считается напечатанной (рис 2). Если сделать курсор чувствительным к фиксации взгляда, то в получившейся ИМК технологии время фиксации не будет критически важно для выбора букв. Именно так и поступили авторы исследования. В результате авторы избавились от проблемы “прикосновения Мидаса”, одновременно увеличив скорость письма до 25 слов в минуту [40].
27 Еще один тип dwell-free решения был предложен Esteves с соавторами для использования в глазодвигательном управлении “умными” часами. В их модели ИМК элементы управления (в виде иконок) двигаются по своеобразным орбитам вокруг центра циферблата. Для активации одного из элементов пользователь должен некоторое время отслеживать взглядом его движение [12]. Благодаря нестатичности элементов управления данная система избавлена от срабатываний при случайных фиксациях.
28 Некоторые варианты ИМК продолжают использовать фиксации, но организуют их таким образом, чтобы избежать проблемы “прикосновения Мидаса”. Например в работе Kurauchi с соавторами для выбора нужной буквы на виртуальной клавиатуре пользователь некоторое время фиксируется на нужной букве. После этого на экране появляется кнопка “Действие”. Для того, чтобы ввести букву, следует посмотреть на кнопку “Действие” и затем опять посмотреть на нужную букву. Используя такой алгоритм и дополнив его усовершенствованным алгоритмом автоопределения слов (от пользователя требовалось указать первую и последнюю буквы слова), авторы сообщили о возможности печатать 11.7 слов в минуту после 30 минут практики [24].
29 В целом следует отметить, что использование алгоритмов автоопределения слов (широко распространенных в современных программах) значительно повышает скорость передачи данных ИМК. В работе Sengupta с соавторами был использован алгоритм, который предугадывает слово на основании уже нажатых букв. При этом угаданное слово появляется на кнопке виртуальной клавиатуры, которую недавно нажимал пользователь. В результате нужное слово может быть напечатано целиком путем дополнительной фиксации на этой кнопке. В ходе исследования (где требовалось напечатать определенный текст) таким образом были напечатаны 54.4 % всех слов. При этом скорость ввода текста в среднем составила 9.34 слова в минуту [35].
30 Создание “гибридных систем”, соединивших контроль за движением глаз и регистрацию ЭЭГ, стало еще одним способом устранения проблемы “прикосновения Мидаса”. Предположив, что равно как и любые сенсомоторные события (такие как нажатие на клавишу), движения глаз должны сопровождаться электрической активностью, целью исследователей стало изучение потенциалов ЭЭГ, связанных с произвольными и непроизвольными фиксациями на элементах управления. В случае обнаружения различий в паттернах ЭЭГ между типами фиксаций, их можно будет использовать для распознавания команд. Как и следовало ожидать, различия были обнаружены в амплитудных характеристиках медленных потенциалов коры. В работе Protzak с соавторами была обнаружена негативность, предшествующая фиксации выбора цели, которая не наблюдалась в тех случаях, когда участник фиксировался на позиции без особого намерения что-либо выбрать (Рис 3). Данная негативность развивалась в интервале от 1100 до 800 мс до фиксации. Использование негативности в качестве маркера выбора позволило с точностью
31 81 % классифицировать намерения участников [33].
32

Рис. 3. Негативность в ЭЭГ, связанная с фиксациями разных типов. Зеленая кривая — произвольная фиксация, синяя кривая — спонтанная фиксация, розовая кривая — различия двух фиксаций. Карта распределения амплитуд потенциалов по скальпу (интервал — 1000 мс до фиксации) сверху показывает состояние при произвольной фиксации, снизу — без нее (взято из [33]).
33 Эта особенность была продемонстрирована и другими исследователями [3; 36]. Так, в работе Shishkin с соавторами участники играли в игру “Линии”, используя движения глаз. В ЭЭГ наблюдалась более высокоамплитудная негативная волна с максимумом в теменно-затылочной области в ситуации волевой фиксации по сравнению со спонтанной фиксацией [36].
34

1.2. ИМК, основанные на регистрации электроокулограммы
35 Глазное яблоко представляет собой электрический диполь, где сетчатка является отрицательным полюсом, а роговица — положительным. Таким образом, глаз является источником сильного электрического поля. При помощи электродов, установленных особым образом вокруг глаз (Рис. 4), это поле может быть зарегистрировано [3].
36 При движении глаза полюса диполя изменяют свое положение относительно электродов, что приводит к изменению электрического поля и значений потенциалов на электродах. Анализируя эти значения, можно восстановить направление и амплитуду движений глаз. Знак изменения потенциала зависит от направления движения глаз относительно электрода, а амплитуда от угла поворота глазного яблока [3].
37 Конечно, такая методика регистрации движений глаз менее точна, чем видеорегистрация. Кроме того, электроокулограмма (далее ЭОГ) чувствительна к промышленным электрическим полям и артефактам биологического происхождения (такими как мышечные потенциалы и случайные мигания).
38

Рис. 4. Места установки электродов для регистрации ЭОГ (взято из [3]).
39 Однако многие исследователи отмечают одно ее несомненное достоинство: ИМК, основанный на ЭОГ, более дешев и прост в использовании [3]. В связи с этим предпринимается немало попыток к созданию ИМК, основанных на электроокулограмме.
40 В исследовании Banerjee с соавторами ЭОГ использовалась для управления движением компьютерного курсора. Для этого в системе Matlab был разработан интерфейс, который позволял участнику вызвать медсестру, отправить электронное письмо, сыграть в игру “сапер” и многое другое. Перед началом работы проводилась калибровка. Участников просили двигать глазами в разные стороны. Перед работой с графическим интерфейсом участников просили выбрать 4 значка в крайних углах. В качестве клика мышкой использовалось двукратное мигание (что было вызвано необходимостью отличать команду от случайных миганий). В качестве сигналов для классификации команд использовались отрезки в 2 сек перед каждой командой. Результаты показали точность опознания команд равную 95.83 % [3].
41

Рис. 5. Паттерны ЭОГ при движении глаз (взято из [3])
42 Lledó с соавторами применили ЭОГ для работы с интернет-браузером. От участника требовалось выполнить несколько заданий (открыть браузер, загрузить страницу www.google.es и так далее). Отдельно был проведен тест на управление мышкой. Согласно полученным данным, работа с браузером занимала от 93 до 133 сек. Время выполнения манипуляций курсором мыши заняло от 75 до 160 сек [26].
43 Lee с соавторами использовали ЭОГ для “глазного письма”. При помощи движений глаз участники писали прописные буквы. Пользователям было предложено писать такими движениями глаз, как если бы они писали рукописные символы. Были разработаны паттерны для 26 строчных букв и три функциональных шаблона ввода (клавиши “Пробел”, “Backspace” и “Enter”). Исследования с участием 20 человек показали среднюю точность распознания 87.38 % [25].
44 Также предпринимались попытки использовать ЭОГ в управлении роботом-манипулятором (движение рукой робота управлялось движением глаз [41] и движением роботоподобного механизма на экране [34].
45

2. ИМК, основанные на показателях оксигенации крови
46 Анализ показателей оксигенации является информативным инструментом в нейронауке, покольку в ряде исследований было показано, что изменения уровня оксигенации крови в русле капилляров в изучаемой области мозга напрямую связана с активностью данной области [28].
47 В данном обзоре будет рассмотрено два метода:
48 - Ближняя инфракрасная спектроскопия (near-infrared spectroscopy).
49 - BOLD-функциональная магнитно-резонансная томография;
50 Из этих двух методов BOLD (blood oxygenation level dependent contrast) функциональная магнитно-резонансная томография (далее фМРТ) наиболее известна.
51 Работы с использованием ближней инфракрасной спектроскопии (далее БИС) в целом встречаются не так часто как фМРТ исследования. Однако если считать только ИМК исследования, то БИС упоминается чаще. Как и в случае с ЭОГ это связано с относительной простотой и дешевизною метода. Метод БИС основан на способности волн инфракрасного спектра (в интервале от 630–1300 нм) проникать через череп на достаточную глубину (Рис. 6). Часть этих волн отражается и может быть зарегистрирована в нескольких сантиментах от источника. Однако, определенные части спектра поглощаются дизоксигемоглобином и оксигемоглобином. В результате спектральный анализ отраженных волн может быть использован для оценки степени оксигенации крови [5; 21].
52

Рис. 6. Устройство для регистрации активности мозга участников исследования с помощью БИС (взято из [10]).
53 Регистрация BOLD сигнала основана на разных магнитных свойствах оксигенированного (соединенного с кислородом) и дезоксигенированного (бедного кислородом) гемоглобина. Кровь, насыщенная кислородом, практически не искажает магнитное поле окружающей ткани, в то время как капилляры и вены, содержащие большое количество дезоксигемоглобина значительно влияют на магнитное поле [28].
54 Одним из несомненных преимуществ фМРТ является способность точно локализовать области мозга, изменения в кровоснабжении которых связаны с осуществляемым поведением. В частности, анализ области сенсомоторной коры позволил выявить характеристики активности этой зоны мозга при разных движениях. Так, в одном из исследований участников просили во время сканирования делать несколько движений ртом (выпячивание губ, движение языка, сжатие зубов и воспроизведение звука, активирующего гортань). Полученные результаты позволили с достаточно высокой точностью (> 80 %), классифицировать действия, производимые участники [8]. С чуть меньшей точностью (63 %) в сходных условиях получилось классифицировать жесты языка глухонемых [9].
55 В работах, непосредственно связанных с реализацией ИМК, исследователи стараются использовать известные и хорошо выделяемые особенности изменения кровоснабжения в определенных зонах мозга. Так, в исследовании Sorger с соавторами, здоровых людей просили выполнить в уме три задачи: “воображение движения”, “решение математических задач” и “внутренняя речь” и при этом регистрировали фМРТ. Затем им предложили мысленно ответить на ряд вопросов с несколькими вариантами ответа. При выборе одного из вариантов (вариант A, B, C или D) было предложено выполнить одну из вышеперечисленных “умственных задач” в определенный интервал времени (о соответствии задачи и определенной буквы договаривались заранее). Точность определения выполняемой в уме задачи по характеристикам активности мозга, зарегистрированным с помощью фМРТ, составила 94.9 % [37].
56 В исследовании Naci и Owen изучались особенности изменения кровоснабжения в определенных зонах мозга, связанные с вниманием. В исследовании участвовали три человека, перенесшие тяжелую травму и находившихся в “минимальном сознании”. В ходе исследования участникам предъявлялись слова (в частности “да” и “нет”) и вопросы (вроде таких как “Вы находитесь в госпитале?”, “Вы находитесь в супермаркете?”). Слова предъявлялись несколько раз. От участников требовалось считать сколько раз звучало выбранное ими слово. Было обнаружено, что у одно из участников при подсчете ответов (“да” и “нет”) регистрировался устойчивый паттерн, связанный с активацией лобно-височных отделов коры [30].
57 Несмотря на накопленные результаты следует учесть, что процедура регистрации фМРТ не отличается простотой. В связи с этим вряд ли можно себе представить, что дорогие и сложные в обслуживании томографы когда либо станут технической основной для востребованной ИМК технологии.
58 С этой точки зрения наиболее применимым является методика БИС, которая позволяет при меньших усилиях и материальных затратах, получить сходные результаты в экспериментальных парадигмах, которые используются как при регистрации БИС, так и при регистрации фМРТ.
59 В работе Coyle с соавторами использовался оптод, состоящий из светодиодов с длинами волн 700 и 880 нм, которые по-разному поглощаются окси- и дезоксигемоглобином, и частотой 4 и 5 кГц, и фотодиода-детектора, расположенного на расстоянии 3–4 см от них. Данный оптод был размещен в области отведения C3 согласно международной системе 10 х 20 (сенсомоторная область коры). Участников просили зрительно представить сжатие резинового мячаправой рукой (контрлатеральной той области, над которой установлен электрод). На экране компьютера предъявлялся круг, который менял свой радиус в ответ на сигналы от спектрографа, служа обратной связью (Рис. 6). Было показано, что система имела точность распознавания движений равную 75 %. Подобные результаты, по мнению авторов, позволят использовать данный метод в создании ИМК [10].
60 В исследовании Naseer с соавторами была предпринята попытка повторить исследование Sorger с коллегами, но с использованием БИС техники. Участников (всего 14 человек) просили давать мысленные ответы “да” или “нет” в ответ на вопросы. При этом для утвердительного ответа участники должны были решать задачу в уме, которая вызывает когнитивную нагрузку на префронтальную кору (арифметические вычисления), для отрицательного ответа участников просили максимально расслабиться. Оптоды, установленные в области префронтальной коры, позволили определить ответы участников с точностью от 74.28 % до 82 % (в зависимости от использованных методов обработки) [31]. Аналогичный эксперимент был проведен и другими исследователями [15].
61 ЗАКЛЮЧЕНИЕ
62 В настоящем обзоре были рассмотрены наиболее популярные подходы к разработке интерфейса “мозг–компьютер”. Данное направление исследований активно развивается. К примеру недавно появилась работа с описанием гибридного ИМК, совмещающего ЭЭГ и трансчерепную ультразвуковую доплерографию [22]. Однако остается непонятным, почему, несмотря на столь бурное и длительное развитие интерфейс “мозг–компьютер” все еще не достиг своего “плато продуктивности”. Отвечая на этот вопрос, логично оценить ИМК с позиции двух параметров, которые являются ключевыми для развития любой технологии: надежности и цены.
63 В обеспечении надежности исследователи достигли большого прогресса. Во всех приведенных исследованиях точность опознания управляющего сигнала редко падала ниже 60 %, а в некоторых случаях стремилась к более чем 90 % [17; 19; 23]. Конечно в процессе работы исследователи сталкивались со специфическими проблемами типа проблемы “прикосновения Мидаса”, однако легко находили решение, например изменяя принципы ввода команд [40] или используя “гибридные” нейроинтерфейсы [3]. Уровень развития современных вычислительных мощностей позволяет использовать надежные методы обработки сигналов для повышения эффективности даже явно устаревших ИМК-методик [38].
64 Доступность технических элементов для ИМК технологии также является довольно высокой. Конечно, ИМК, основанные на BOLD фМРТ, остаются за рамками данного обсуждения, однако технологические решения, связанные с регистрацией ЭЭГ или электроокулораммы, дешевеют. К примеру уже сейчас в продаже имеются чипы Neurosky inc., позволяющие регистрировать ЭЭГ с одного отведения с частотой дискретизации 500 Гц. Цена подобного чипа доступна рядовому потребителю [1].
65 Видеорегистраторы движений глаз, хотя и остаются дорогими, но тем не менее предпринимаются попытки сделать их массово доступными. В качестве примера можно привести датский стартап EyeTribe (см. заметку в интернете Майзелс Н. The Eye Tribe Tracker: первое устройство ввода информации при помощи глаз. URL: >>>> (дата обращения: 18.02.2022)), некоторое время назад поставлявший на рынок доступные по цене видеорегистраторы, пока не был куплен компанией Facebook (см. заметку в интернете Вискалин В. Facebook купил стартап по отслеживанию взгляда The Eye Tribe // URL: >>>> (дата обращения: 18.02.2022).
66 Таким образом, с параметрами цены и надежности у ИМК дела обстоят неплохо.
67 Первым препятствием, стоящим на пути развития ИМК технологии, является именно то, что большинство исследователей подходят к ней как к сугубо научной проблеме. Некоторые авторы отмечают, что подавляющее число исследователей ИМК в первую очередь сосредоточены на выборе методов и разработке систем высокоточного распознавания управляющего сигнала, совершенно не уделяя внимания удобству и легкости взаимодействия системы с пользователем [32].
68 С одной стороны никто не должен ограничивать творческую мысль ученого. Но трудно себе представить, в какой практической области будет востребован робот, управляемый движениями глаз [41], или воображаемыми движениями языком [29]. Обычные пользователи вряд ли будут использовать интерфейс, где щелчок мышью осуществляется двукратным миганием [3], а ослабленные и обездвиженные пациенты не смогут долго общаться со своими родственниками, поочередно осуществляя мысленные арифметические операции [37].
69 Погоня за точностью привела еще к двум проблемам, которые предстоит решить:
70 1. Проблема предварительного обучения
71 Как можно было заметить, практически все ИМК, представленные в обзоре, требовали определенного периода обучения. Эти периоды могли быть достаточно долгими, составляя недели [23; 42].
72 Обучение пользователей — еще половина проблемы. Определенное обучение должен пройти и классификатор команд (напр. [29]). С одной стороны, именно обучение лежит в основе высокой точности распознавания управляющего сигнала. С другой стороны, как отмечают сами исследователи, длительные периоды обучения могут вызвать разочарование и привести к отказу от использования устройства [10]. Именно поэтому важной проблемой разработчиков ИМК является поиск компромисса между технологией классификации ИМК и количеством тренировок, необходимых для успешной его работы.
73 2. Проблема скорости передачи данных
74 Это проблема отчасти является следствием выше описанной проблемы. С относительно давнего времени [13] и по сей день скорость передачи данных от пользователя находится в обратной связи с точностью опознания команды пользователя. В результате пользователю требуется от 5 до 10 секунд, чтобы заставить робота совершить одно действие [29], или одна минута для ввода около 6 символов [35; 38]. Конечно, если пользователь воспользуется ИМК, основанным на регистрации движений глаз, то скорость ввода может возрасти до 9–11 слов в минуту [24; 35], однако это не может сравниться со значением от 52 слов в минуту, что составляет среднее значение скорости печати на стандартной клавиатуре [11]. В исследовании 2003 года авторы пытались изучить сравнительную эффективность выполнения аналогичных задач обычной компьютерной мышкой, мышкой, управляемой движениями головы, и мышкой, основанной на движении глаз. Наибольшую эффективность показала обычная мышь. Однако результаты также показали, что использование мыши, основанной на движении глаз, может приблизиться по эффективности к компьютерной только при изменении интерфейса программы (увеличения) и хорошей обученности пользователей [6]. Таким образом скорость передачи данных тесно зависит от эффективности обучения пользователя и желания обучаться.
75 Для решения описанных проблем в самых общих чертах можно порекомендовать исследователям больше уделять внимание эргономичности и удобству использования разрабатываемых ИМК. Кроме этого, следует сосредоточить внимание на повышении скорости передачи команд, возможно, отчасти пожертвовав точностью их опознания. В конце концов, даже используя традиционные методы взаимодействия с компьютером (к примеру набирая текст в текстовом редакторе), многие пользователи допускают ошибки и опечатки. Однако скорость, с которой можно исправить ошибку, сводит на нет негативное влияние ошибок на результаты работы.
76 В любом случае приведенные выше проблемы вряд ли можно назвать неразрешимыми. Можно выразить уверенность, что время, когда потенциал технологии интерфейса “мозг–компьютер” будет реализован полностью, вовсе не за горами.

Библиография

1. Alshear O. Brain wave sensors for every body // 2018. DOI: 10.13140/RG.2.2.22223.69280. https://www.researchgate.net/publication/311582768_Brain_Wave_Sensors_for_Every_Body.

2. Allison B., Dunne S., Leeb R., Millan J., Nijholt A. Towards practical brain-computer interfaces: bridging the gap from research to real-world applications. Berlin: Springer Berlin Heidelberg, 2012. DOI: 10.1007/978-3-642-29746-5.

3. Banerjee A., Monalisa P., Shreyasi D., Tibarewala D., Konar A. Voluntary eye movement controlled electrooculogram based multitasking graphical user interface // International journal of biomedical engineering and technology. 2015. V. 3. № 18. DOI: 10.1504/IJBET.2015.070574.

4. Bauer G., Gerstenbrand F., Rumpl E. Varieties of the locked-in syndrome // Journal of neurology. 1979. V. 9. № 221. P. 77–91. DOI: 10.1007/BF00313105.

5. Bauernfeind G., Leeb R., Wriessnegger S., Pfurtscheller G. Development, set-up and first results for a one-channel near-infrared spectroscopy system // Biomedizinische technik. 2008. V. 1. № 53. P. 36–43. DOI: 10.1515/bmt.2008.005.

6. Bates R., Istance H. Why are eye mice unpopular? — a detailed comparison of head and eye controlled assistive technology pointing devices // Universal access in the information society. 2003. V. 3. № 2. P. 280–290. DOI: 10.1007/s10209-003-0053-y.

7. Beesley T., Pearson D., Le Pelley M. Eye tracking as a tool for examining cognitive processes // Biophysical measurement in experimental social science research. Academic Press, 2019. P. 1–30.

8. Bleichner M., Jansma J., Salari E., Freudenburg Z., Raemaekers M., Ramsey N. Classification of mouth movements using 7 t fMRI // Journal of neural engineering. 2015. V. 6. № 12. DOI: 10.1088/1741-2560/12/6/066026.

9. Bleichner M., Jansma J., Sellmeijer J., Raemaekers M., Ramsey N. Give me a sign: decoding complex coordinated hand movements using high-field fMRI // Brain topography. 2013. № 27. P. 248–257.

10. Coyle S., Ward T., Markham C., Mcdarby G. Give on the suitability of near-infrared (nir) systems for next-generation brain–computer interfaces // Physiological measurement. 2004. V. 4. № 25. P. 815–822. DOI: 10.1088/0967-3334/25/4/003.

11. Dhakal V., Feit A., Kristensson P., Oulasvirta A. Observations on typing from 136 million keystrokes // Proceedings of the 36th ACM conference on human factors in computing systems. ACM Press, 2018. P. 1–12.

12. Esteves A., Velloso E., Bulling A., Gellersen H. Orbits: gaze interaction for smart watches using smooth pursuit eye movements // Proceedings of the 28th annual ACM symposium on user interface software & technology. 2015. DOI: 10.1145/2807442.2807499.

13. Farwell L., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalogr clin neurophysiol. 1988. V. 6. № 70. P. 510–523. DOI: 10.1016/0013-4694(88)90149-6.

14. Fedorova А.А., Shishkin S.L., Nuzhdin Y.O., Velichkovsky B.M. Gaze based robot control: the communicative approach // The international IEEE/EMBS conference on neural engineering (ner). 2015. DOI: 10.1109/ner.2015.7146732.

15. Gallegos-Ayala G., Furdes A., Takano K., Ruf C. How many people could use an SSVEP BCI? // Neurology. 2014. V. 21. № 82. P. 1930–1932. DOI: 10.1212/WNL.0000000000000449.

16. Goossens C., Crain S. Overview of nonelectronic eye-gaze communication techniques // Augmentative and alternative communication. 1987. V. 2. № 3. P. 77–89. DOI: 10.1080/07434618712331274309

17. Guger C., Allison B., Growindhager B., Pruckl R., Hintermuller C., Kapeller C., Bruckner M., Krausz G., Edlinger G. How many people could use an SSVEP BCI? // Front neurosci. 2012. V. 169. № 6. P. 1–6. DOI: 10.1080/07434618712331274309.

18. Hutchinson T.E., White K.P., Martin W.N., Reichert K.C., Frey L.A. Human-computer interaction using eye-gaze input // IEEE Transactions on systems, man, and cybernetics. 1989. V. 19. №. 6. P. 1527–1534. DOI: 10.1109/21.44068.

19. Hwang H., Lim J., Jung Y., Choi H., Lee S., Im C. Development of an SSVEP-based BCI spelling system adopting a qwerty-style led keyboard // J neurosci methods. 2012. V. 1. № 208. P. 59–65. DOI: 10.1016/j.jneumeth.2012.04.011.

20. Jacob R. Eye movement-based human-computer interaction techniques: toward non-command interfaces // Advances in human-computer interaction. 1993. № 4. P. 151–190. DOI: 10.1126/science.929199.

21. Jobsis F. Noninvasive, infrared monitoring of cerebral and myocardial oxygen sufficiency and circulatory parameters // Science. 1977. V. 4323. № 198. P. 1264–1270. DOI: 10.1126/science.929199.

22. Khalaf A., Sejdic E., Akcakaya M. Brain-computer a novel motor imagery hybrid brain computer interface using eeg and functional transcranial doppler ultrasound // Journal of neuroscience methods. 2019. № 313. P. 44–53. DOI: 10.1016/j.jneumeth.2018.11.017.

23. Kubler A., Neumann N., Kaiser J., Kotchoubey B. Brain-computer communication: self-regulation of slow cortical potentials for verbal communication // Archives of physical medicine and rehabilitation. 2001. V. 11. № 82. P. 1533–1539. DOI: 10.1053/apmr.2001.26621.

24. Kurauchi A., Feng W., Joshi A., Morimoto C., Betke M. Eyeswipe: dwell-free text entry using gaze paths // Proceedings of the 2016 chi conference on human factors in computing systems. 2016. DOI: 10.1145/2858036.2858335.

25. Lee K., Chang W., Kim S., Im C. Real-time “eye-writing” recognition using electrooculogram // Ieee transactions on neural systems and rehabilitation engineering. 2017. V. 1. № 25. P. 37–48. DOI: 10.1109/tnsre.2016.2542524.

26. Lledo L., Ubeda A., Ianez E., Azorin J. Internet browsing application based on electrooculography for disabled people // Expert systems with applications. 2013. V. 7. № 40. P. 2640–2648. DOI: 10.1016/j.eswa.2012.11.012

27. Majaranta P., Kari-jouko R. Twenty years of eye typing // Proceedings of the symposium on eye tracking research and applications / New york: ACM, 2002. P. 15–22.

28. Matthews P., Jezzard P. Functional magnetic resonance imaging // Journal of neurology, neurosurgery, and psychiatry. 2004. № 75. P. 6–12. DOI: 10.1142/9781860948961_0015.

29. Mishchenko Y., Kaya M., Ozbay E., Yanar H. Developing a three- to six-state EEG-based brain-computer interface for a virtual robotic manipulator control // IEEE trans biomed eng. 2019. V. 4. № 66. P. 977–987. DOI: 10.1109/TBME.2018.2865941.

30. Naci L., Owen A. Making every word count for nonresponsive patients // Jama neurology. 2013. V. 10. № 70. P. 1235–1241. DOI: 10.1001/jamaneurol.2013.3686.

31. Naseer N., Hong M., Hong K. Online binary decision decoding using functional near-infrared spectroscopy for the development of brain–computer interface // Experimental brain research. 2013. V. 2. № 232. P. 555–564. DOI: 10.1007/s00221-013-3764-1.

32. Nijboer F. Technology transfer of brain-computer interfaces as assistive technology: barriers and opportunities // Annals of physical and rehabilitation medicine. 2015. V. 1. № 58. P. 35–38. DOI: https://doi.org/10.1016/j.rehab.2014.11.001.

33. Protzak J., Ihme H., Zander T. A passive brain-computer interface for supporting gaze-based human-machine interaction // Universal access in human-computer interaction. design methods, tools, and interaction techniques for elnclusion. UAHCI 2013. Lecture notes in computer science. Berlin: Springer, 2013. P. 662–671.

34. Qiuping D., Kaiyu T., Guang L. Development of an EOG (electro-oculography) based human-computer interface // 27th annual international conference of the engineering in medicine and biology society, IEEE-EMBS. 2005. P. 6829–6831. DOI: doi.org/10.1007/978-3-642-39188-0_71.

35. Sengupta K., Menges R., Kumar C., Staab S. Gaze the key: interactive keys to integrate word predictions for gaze-based text entry // The 22nd annual meeting of the intelligent user interfaces (iui 2017). 2017. DOI: 10.1145/3030024.3038259.

36. Shishkin S.L., Nuzhdin Y.O., Svirin E.P., Trofimov A.G., Fedorova A.A., Kozyrskiy B.L., Velichkovsky B.M. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface // Frontiers in neuroscience, 2016. 10, 528.

37. Sorger B., Dahmen B., Reithler J., Gosseries O. Gazethekey: interactive keys to integrate word predictions for gaze-based text entry // Progress in brain research. 2009. № 177. P. 275–292. DOI: 10.1016/S0079-6123(09)17719-1.

38. Speier W., Chandravadia N., Roberts D., Pendekanti S., Pouratian N. Online BCI typing using language model classifiers by ALS patients in their homes // Brain-computer interfaces. 2016. V. 2. № 4. P. 114–121. DOI: 10.1080/2326263x.2016.1252143.

39. Sun X., Huang S., Wang N. Neural interface: frontiers and applications: cochlear implants // Adv exp med biol. 2019. № 1101. P. 167–206. DOI: 10.1007/978-981-13-2050-7_7.

40. Tuisku O., Majaranta P., Isokoski P., Raiha K. Now dasher! Dash away!: longitudinal study of fast text entry by eye gaze // Etra '08: Proceedings of the 2008 symposium on eye tracking research & applications. 2008. P. 19-26. DOI: https://doi.org/10.1145/1344471.1344476.

41. Ubeda A., Ianez E., Azorin J. Wireless and portable eog-based interface for assisting disabled people // Ieee/asme transactions on mechatronics. 2011. V. 5. № 26. P. 870–873. DOI: 10.1109/tmech.2011.2160354

42. Wolpaw J., Birbaumer N., Mcfarland D., Pfurtscheller G., Vaughan T. Brain–computer interfaces for communication and control // Clinical neurophysiology. 2002. V. 6. № 113. P. 767–791. doi: 10.1016/s1388-2457(02)00057-3.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести