Каким вы представляете интерфейс будущего? Ваш покорный слуга, закрывая глаза, видит связку «мозг — компьютер» без участия какой-либо мышечной активности. Да, я не оригинален, и концепция уже изъедена фантастами вдоль и поперек. Попробую развить мысль. Разумеется, интерфейс должен быть удобным. Какие условия необходимы для реализации комфортной схемы «мозг — компьютер»?
Во-первых, это неинвазивность. Никто никому ничего не вживляет. Помните, как Нео подключали к Матрице? Приятного мало. А представьте, что подобное придется проделывать по несколько раз на дню. Проверить почту, поиграть, почитать новости, создать документ — для каждого действия необходимо каким-то образом «воткнуться». Инвазивность выглядит морально устаревшей.
Второе условие — мобильность. Никаких громоздких кресел или отдельных помещений: все это отправляется на антресоли прогресса вслед за проводами, идущими от головы. Рынок мобильных платформ неуклонно растет, и причин для «демобилизации» нет.
У пользователя интерфейса будущего руки, конечно, должны быть свободны, да и органы чувств ничто не должно отвлекать. Эти условия удовлетворила бы какая-нибудь беспроводная гарнитура, наподобие тех, что применяются в мобильной связи. Самое время поднять занавес: такой продукт уже есть на рынке. Это портативный электроэнцефалограф EPOC. Или просто «шапочка», для тех кто в теме.
Устройство, разработанное и производимое компанией Emotiv, на сегодня является самым доступным решением для регистрации электрической активности головного мозга. Emotiv EPOC использует для этого 14 солевых сенсоров, передавая информацию на компьютер через USB-донгл. Система не требует установки дополнительных драйверов, но работает пока только в Windows. Очевидно, что такой простой схеме электроэнцефалографии открываются самые радужныет практические перспективы.
Пока что наиболее обсуждаемыми являются две сферы применения. Портативный энцефалограф можно использовать в индустрии видеоигр. Представьте, что вы управляете игровым процессом буквально силой мысли. Подобные перспективы вызывают у вашего покорного слуги бурный восторг. Другая область, в которой может быть активно задействовано устройство — медицина. В частности, реабилитация неврологических больных, страдающих самыми разными заболеваниями, начиная от рассеянного склероза и заканчивая болезнями Паркинсона или Альцгеймера.
Но мы заострим внимание на третьей сфере применения. За последние десять лет было проведено множество исследований мозговой деятельности с применением ФМРТ (функционального магнитно-резонансного томографа). По их результатам была выявлена любопытная закономерность: области мозга, в которых происходит распознавание объектов, слегка разнесены. Это наводит на мысль о том, что при помощи энцефалографа можно исследовать распределение активности мозга, связанной с представлением различных образов.
Возможностей EPOC для проведения таких исследований вполне достаточно, несмотря на то, что разрешающая способность портативного электроэнцефалографа ниже, чем у ФМРТ. Главное, что устройство Emotiv является массовым: его цена на сайте производителя составляет всего 299$, и по всему миру продано уже более 30 тысяч «шапочек». Одной из прикладных разработок, в которых может быть востребован массовый подход Emotiv, является нейропоиск — работа с поисковыми системами на основе считываемых с головного мозга образов. Этим направлением нейроинформатики занялся некоммерческий проект NeuroG.
Изначально базовые алгоритмы распознавания воображаемых образов были разработаны в Институте Высшей Нервной Деятельности РАН на профессиональном электроэнцефалографе ActiCap, а потом модифицированы под EPOC и распределенную серверную архитектуру. Осознавая необходимость и отличные возможности для массовых исследований, участники NeuroG запустили сервис Neurog.com. 25 апреля в малой аудитории Политехнического музея с его помощью был проведен публичный эксперимент по распознаванию воображаемых образов для последующего поиска по ним через Яндекс. Первым участником стал Александр Жаворонков, технический директор NeuroG.
Сначала через энцефалограф Emotiv EPOC была установлена связь между мозгом Александра и сервисом Neurog.com. За этим последовала многократная поочередная демонстрация испытуемому двух картинок. На одной из них был изображен чизбургер, на другой — автомобиль. Александр пытался удержать демонстрируемый образ в памяти, а тем временем энцефалограф считывал панораму электрических импульсов его мозга. Так создавался паттерн графического образа, его слепок.
Вторая часть эксперимента — проверка того, как стабильно классификатор распознает зафиксированные ранее паттерны и как испытуемый умеет их воспроизводить. Александру в произвольном порядка демонстрировался пресловутый чизбургер или автомобиль. Испытуемый вновь воспроизводил соответствующий образ, который уже считывался, а не записывался энцефалографом. На основании собранных при помощи EPOC данных компьютер определял, какой образ видит испытуемый, и проверял, совпадает ли предположение с демонстрируемым в тот момент оригиналом.
Результаты эксперимента с участием Александра были отличными. Вторая часть состояла из 8 попыток, и сервис NeuroG угадал демонстрируемый образ в 100% случаев. Это можно объяснить тем, что Александр в течение нескольких дней до эксперимента тренировался в воспроизведении образов. А вот когда участниками стали добровольцы, догадливость классификатора образов уменьшилась в два раза, что объясняется неподготовленностью как испытуемых к системе, так и системы к испытуемым. Успешная работа с EPOC требует значительной тренировки и зависит от внешних шумов, состояния испытуемого, точного расположения сенсоров и других факторов.
На данный момент алгоритмы требуют значительной вычислительной мощности, которую обеспечивает веб-сервис Amazon EC2. Пока что пользователям системы NeuroG предлагается всего несколько образов, но по мере развития проекта будут открываться новые изображения и функции. Например, появится возможность загружать собственные образы и тренироваться на них.
Перед разработанной NeuroG системой открываются широкие возможности дальнейшего развития. Neurog.com уже запущен в России, а на 9 мая запланирован запуск сервиса в США, где проживает большинство обладателей устройств Emotiv EPOC. С его помощью каждый владелец электроэнцефалографа может внести свой вклад в развитие нейропоиска, повторив эксперимент, описанный выше. Разумеется, качество данных, полученных в бытовых условиях энцефалографом Emotiv EPOC, будет уступать качеству данных, полученных при лабораторных исследованиях с применением ФМРТ, ведь, несмотря на описанные преимущества, устройство Emotiv еще далеко от совершенства. Но дело здесь именно в массовости, которую лабораторными исследованиями не достигнешь. Кроме того, в стадии активной разработки находятся инструменты нейропоиска для Facebook и мобильных платформ. Столь активная деятельность NeuroG вызывает интерес как в научном, так и в IT-сообществе, и чтобы подогреть его, руководитель проекта Михаил Бахнян подготовил небольшой рассказ о NeuroG специально для iXBT:
Как систематизировать полученные данные с учетом того, что у разных людей регистрируемые зоны мозга расположены по-разному? Как поступать с абстрактными образами? Как избежать необходимости предварительных тренировок для получения удовлетворительных результатов? Это лишь ничтожная часть вопросов, уже сейчас стоящих перед участниками NeuroG. Однако общая картина такова: за 12 месяцев работы в России создана первая в мире онлайн-система по распознаванию воображаемых изображений. Несомненно, это успех. Пожелаем проекту NeuroG не останавливаться на достигнутом.
