Женщина с тяжелым параличом снова научилась говорить с помощью новой технологии, которая читает ее мысли

Женщина, которая не могла говорить почти 20 лет из-за инсульта в стволе мозга, снова может общаться благодаря новой технологии, разработанной учеными из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли. Они создали интерфейс мозг-компьютер (BCI), который декодирует сигналы мозга, ответственные за речь и выражение лица, и преобразует их в текст или звук через цифровой аватар.

Исследование, опубликованное в журнале Nature, демонстрирует, что BCI может имитировать не только речь, но и эмоции и интонацию, которые делают речь более естественной и понятной. Это первый случай, когда речь или выражение лица были синтезированы из сигналов мозга.

Участница исследования, 38-летняя женщина, которую называют BRAVO1, потеряла способность говорить и двигаться после инсульта в 2003 году. Она общалась с помощью глазного трекера, который позволял ей выбирать буквы на экране. Однако этот метод был медленным и утомительным: она могла написать только около 5 слов в минуту.

Для создания BCI ученые имплантировали 253 электрода на поверхность мозга женщины над областями, отвечающими за разговорные функции. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, шли бы к мышцам ее языка, челюсти и гортани, а также ее лица. Кабель, подключенный к порту, закрепленному на ее голове, соединял электроды с компьютерами.

В течение нескольких недель женщина работала с командой ученых, чтобы обучить искусственный интеллект распознавать ее уникальные сигналы мозга для речи. Это включало повторение разных фраз из разговорного словаря на 1000 слов снова и снова, пока компьютер не распознал паттерны активности мозга, связанные со звуками.

В отличие от предыдущих подходов, которые декодировали целые слова из сигналов мозга, ученые создали систему, которая декодирует слова из фонем — подъединиц речи, которые образуют произносимые слова так же, как буквы образуют письменные слова. Используя этот подход, компьютеру нужно было выучить только 44 фонемы, чтобы расшифровать любое слово на английском языке.

Система также использовала нейронные сети, чтобы воссоздать движения лица женщины, которые сопровождают речь, такие как улыбка, поднятие бровей или сужение глаз. Эти движения были переданы цифровому аватару, который имитировал речь и выражение лица женщины в реальном времени.

Результаты были впечатляющими: BCI позволил женщине говорить со скоростью около 80 слов в минуту — в 16 раз быстрее, чем с помощью глазного трекера. Кроме того, BCI позволил ей выражать свои эмоции и интонацию, которые делали ее речь более живой и естественной. Женщина сказала, что она чувствует себя «очень радостной» и «очень благодарной» за возможность снова говорить.

Ученые надеются, что их технология будет доступна для широкого круга людей, которые потеряли способность говорить из-за различных причин, таких как инсульт, травма мозга, боковой амиотрофический склероз или паркинсонизм. Они также планируют улучшить систему, чтобы она могла работать без проводом и поддерживать другие языки.

«Наша цель — восстановить полный, олицетворенный способ общения, который является самым естественным способом для нас разговаривать с другими», — сказал Эдвард Чанг, доктор медицинских наук, председатель отделения нейрохирургии в UCSF и один из авторов исследования. «Эти достижения приближают нас к тому, чтобы сделать это реальным решением для пациентов».

Что за BCI?

BCI (brain-computer interface), или интерфейс мозг-компьютер, — это технология, которая позволяет связывать мозг человека с компьютером или другим устройством. BCI может считывать сигналы мозга, которые отражают мысли, чувства или намерения человека, и преобразовывать их в команды для компьютера или другого устройства. BCI также может посылать сигналы обратно в мозг, чтобы стимулировать определенные области или изменять состояние мозга.

BCI состоит из трех основных компонентов: сенсора, декодера и эффектора. Сенсор — это устройство, которое измеряет активность мозга с помощью различных методов, таких как электроэнцефалография (ЭЭГ), магнитоэнцефалография (МЭГ), функциональная магнитно-резонансная томография (ФМРТ) или инвазивные электроды. Декодер — это алгоритм или программа, которая анализирует сигналы мозга и извлекает из них полезную информацию, такую как намерения, команды или параметры. Эффектор — это устройство, которое выполняет действие на основе информации, полученной от декодера. Это может быть компьютерный экран, роботическая рука, синтезатор речи или электрический стимулятор мозга.

• Электроэнцефалография (ЭЭГ) — это метод, который измеряет электрическую активность мозга с помощью электродов, прикрепленных к коже головы. ЭЭГ отражает синхронизированные постсинаптические потенциалы пирамидальных нейронов коры мозга. ЭЭГ имеет высокое временное разрешение, но низкое пространственное разрешение, так как сигналы ослабевают при прохождении через череп.
• Электрокортикография (ЭКоГ) — это метод, который измеряет электрическую активность мозга с помощью электродов, имплантированных непосредственно на поверхность коры мозга. ЭКоГ также отражает постсинаптические потенциалы пирамидальных нейронов коры мозга, но имеет более высокое пространственное разрешение, чем ЭЭГ, так как сигналы не искажаются черепом. ЭКоГ требует хирургического вмешательства и является инвазивным методом.
• Ближняя инфракрасная спектроскопия (БИС) — это метод, который измеряет изменения кровотока и кислородного насыщения в мозге с помощью инфракрасного света. БИС основана на том, что гемоглобин имеет разную способность поглощать инфракрасный свет в зависимости от его окисления. БИС имеет низкое временное и пространственное разрешение, но является неинвазивным и дешевым методом.

Какие преимущества имеет использование фонем вместо целых слов для декодирования речи из сигналов мозга?

Использование фонем вместо целых слов для декодирования речи из сигналов мозга имеет несколько преимуществ. Во-первых, это уменьшает количество возможных вариантов, которые нужно распознать, с тысяч или десятков тысяч слов до 39 фонем. Во-вторых, это позволяет генерировать любое слово на английском языке, даже если оно не входит в словарь или не было обучено. В-третьих, это улучшает точность и надежность декодирования, так как фонемы имеют более четкие и стабильные паттерны активности мозга, чем слова.

Какие этические и социальные вопросы возникают при использовании интерфейса мозг-компьютер?

Использование интерфейса мозг-компьютер для восстановления речи может вызывать различные этические и социальные вопросы. Например, как обеспечить конфиденциальность и безопасность данных мозга, которые передаются через BCI? Как предотвратить злоупотребление или манипуляцию BCI со стороны третьих лиц? Как уважать права и желания пациентов, которые используют BCI? Как избежать дискриминации или стигматизации людей, которые нуждаются в BCI? Как обеспечить доступность и доступность BCI для всех, кто в них нуждается? Как учитывать культурные и личные различия в отношении BCI?

Какие другие применения может иметь интерфейс мозг-компьютер, кроме восстановления речи?

Интерфейс мозг-компьютер может иметь множество других применений, кроме восстановления речи. Например, BCI может использоваться для управления протезами, роботами или другими устройствами с помощью мыслей. BCI может использоваться для обучения, развлечения или творчества с помощью стимуляции или модуляции мозга. BCI может использоваться для лечения неврологических или психических расстройств с помощью биообратной связи или нейромодуляции. BCI может использоваться для улучшения когнитивных или физических способностей с помощью нейроэнхансмента.

Источник: https://medicalxpress.com/