«Новое исследование является важным вкладом в развивающуюся область нейропротезов для восстановления речи», — сказал Сергей Ставиский из Калифорнийского университета в Дэвисе. Даже несмотря на то, что в этом исследовании был задействован только один пациент, и впереди много работы, «есть все основания полагать, что в будущем, в сочетании с другими недавними инновациями, эта стратегия станет работать с более высокой точностью».
Пациент, принимавший участие в эксперименте, пережил инсульт в 20 лет и оказался почти полностью парализован. В частности, он потерял способность внятно произносить слова. Позже он согласился на операцию по вживлению в мозг электродов для изучения нейронной активности и ее преобразования в слова на экране компьютера.
Первые слова, произнесенные им с помощью нейтроинтерфейса, были на английском. Однако его родной язык — испанский. Поэтому ученые разработали новую систему ИИ, которая поддерживает два языка. Обучение ИИ происходило на доступном словарном запасе пациента, состоящего из почти 200 слов. Пытаясь сформировать в мозге сигнал для каждого слова, он создавал определенный нейронный паттерн, который фиксировали электроды импланта.
В системе ИИ есть два языковых модуля, английский и испанский. Когда в мозге возникает первое слово фразы, оба модуля проверяют, к кому из них паттерн подходит больше, оценивая вероятность в процентах. Так, слово за словом, модули выстраивают предложения.
Оба модуля определяют принадлежность слова к одному из двух языков с точностью 88%, а предложение декодируют с точностью 75%.
В процесс работы над нейроинтерфейсом ученые обнаружили неожиданные аспекты обработки языка мозгом, сообщает Nature. Ряд предыдущих исследований с помощью неинвазивных инструментов указывал на то, что разные языки активируют разные участки мозга. Однако анализ сигналов, записанных напрямую в передней коре головного мозга этого пациента, показал, что большая часть деятельности и в случае испанского, и в случае английского языка происходила в одной области.
Более того, неврологическая реакция пациента не отличалась от реакции детей, выросших в двуязычных семьях, хотя сам он начал учить английский, будучи уже взрослым.
Все это означает, что разные языки обладают по меньшей мере рядом общих неврологических свойств, и их можно обобщать и переносить на других людей.
Недавно нейробиологи США успешно испытали новую технологию для расшифровки «мысленной речи», которую человек представляет в своей голове, но не пытается сказать. Этот подход отличается от других интерфейсов мозг-компьютер, которые преобразуют сигналы мозга в текст за счет имитации речи.