Специалисты Техасского университета в Остине решили усовершенствовать свой «декодер деятельности мозга», созданный пару лет назад, чтобы его не нужно было отдельно настраивать на мозг каждого пациента. Сначала они обучили модель на нескольких участниках старым методом — собирая данные фМРТ, пока они по многу часов слушали радиопостановки, находясь внутри томографа. Затем перенесли два алгоритма преобразования на две группы участников: контрольную и целевую. Один алгоритм был создан на данных, собранных в ходе прослушивания 70 минут радиопостановок, второй — пока они смотрели без звука короткометражки Pixar на протяжении тех же 70 минут.

Методом функционального выравнивания ученые картировали реакцию мозга пациентов из обеих групп на фильмы или аудиопьесы. Эту информацию они использовали, чтобы научить декодер работать с мозгом участников из целевой группы без необходимости собирать обширные данные.

Затем ученые испытали декодеры, запустив короткий рассказ, который никто из участников эксперимента раньше не слышал. Декодер справился с задачей, хотя и с небольшой потерей точности преобразования мыслей в текст, сообщает Life Science.

«Очень удивительно и круто было то, что мы можем делать это даже не используя языковые данные, — сказал Александр Хас, соавтор исследования. — У нас могут быть данные, которые мы собрали, пока кто-то смотрел немые фильмы. И мы можем использовать их, чтобы создать языковой декодер для их мозга».

Результаты исследования указывают также на то, что в мозге существует некая семантическая репрезентация, которой все равно, посредством какого канала восприятия эта информация возникает: зрительного, звукового или какого-нибудь еще.

Ученые из США показали в прошлом году интерфейс «мозг-компьютер», который позволяет людям управлять курсором на экране силой мысли. В отличие от инвазивных устройств, он не требует хирургического вмешательства. В его основе — нейросеть, которую обучали на данных электроэнцефалографии, регистрирующей мозговую активность участников.