Эксперимент по преобразованию мозговой активности в речь провели три группы исследователей. Как поясняет Science, испытания проводились на открытом мозге пациентов, к которому подключили электроды.
Проводить такую процедуру можно было только в двух случаях — в ходе операции по удалению опухоли мозга и при проведении диагностики перед хирургическим вмешательством у пациентов с эпилепсией. В обоих случаях ученым приходилось действовать быстро.
Исследователи попросили испытуемых читать вслух, беззвучно проговаривать текст речи и слушать аудиозаписи. Параллельно с этим датчики анализировали мозговую активность и передавали данные на компьютер, где их анализировала нейросеть. Затем система преобразовывала сигналы в звучащую речь.
В первом случае пациенты прослушивали аудиозаписи, а ИИ анализировал сигналы слуховой коры головного мозга, которая остается активной как во время говорения, так и в процессе слушания.
На основе собранной информации алгоритм озвучил слова, которые группа волонтеров распознала с точностью 75%.
Во втором исследовании испытуемых просили зачитать вслух простые односложные слова. Микрофон записывал произносимую речь, а электроды считывали активность мозга в зонах, которые отвечают за планирование речи и двигательную активность. Затем нейросеть сопоставила данные с датчиков с аудиозаписями и определила, какому слову соответствует определенный паттерн мозговой активности. При преобразовании сигналов в речь, понятными оказались около 40% слов, сгенерированных компьютером.
Третий эксперимент позволил реконструировать целые предложения в процессе чтения текста вслух. Волонтерам, которые оценивали точность расшифровки, предложили прослушать сгенерированную фразу и найти ей соответствие среди 10 текстовых вариантов. В некоторых случаях точность распознавания достигала 80%.
Ученым также удалось расшифровать сигналы мозга в процессе беззвучной артикуляции текста, когда испытуемый задействовал не голос, а только мимику.
Пока технология не позволяет расшифровывать мысли человека и преобразовывать слова и фразы, которые он произносит в уме, в звучащую речь. Исследователи признают, что для достижения этой цели потребуется прорыв в нейронауках. «Пока не совсем ясно, как в принципе можно этого добиться», — отметил американский эксперт по нейроинженерии Гервин Шалк, который не принимал участия в подготовке научной работы.
Также существующая система пока не универсальна. Технология декодирования настраивается индивидуально для каждого пациента, поэтому о масштабировании речи не идет.
Аналитики полагают, что в будущем нейроинтерфейсы не только позволят людям с речевыми нарушениями свободно выражать свои мысли, но также откроют новые методы восприятия информации. Спектр чувств человека расширится, а вместе с этим появится возможность испытать уникальные сенсорные ощущения, которых люди не знали прежде.
