Уже свыше десяти лет наука умеет достаточно точно предсказывать, что видит или слышит человек по активности его мозга. Однако считать из мозга что-нибудь более сложное, например, просмотренный видеоролик или абстрактную фигуру, оказалось сложнее. Удалось уловить только ключевые слова, но не все действие целиком. А при использовании моделей ИИ, которые самостоятельно формируют структуру предложений, исследователи не могли отделить реальную картину от вымысла искусственного интеллекта.

Новый метод, разработанный Томояши Хорикавой из компании NTT Communication, состоит из нескольких этапов, рассказывает Nature. Сначала модель ИИ проанализировала субтитры более чем 2000 видеороликов, превращая каждый из них в уникальную числовую «смысловую сигнатуру». Затем отдельный инструмент ИИ был обучен на сканировании мозга шести участников и научился находить у людей во время просмотра видеороликов паттерны мозговой активности, соответствующие каждой смысловой сигнатуре.

После обучения устройство считывало данные сканирования мозга человека, смотревшего видео, и предсказывало смысловую сигнатуру. После чего текстовый генератор на основе ИИ подбирал предложение, наиболее близкое к смысловой сигнатуре, полученной из мозга этого человека. Например, зритель смотрел короткое видео, где человек прыгает с вершины водопада. По активности его мозга ИИ-модель угадывала цепочки слов, начиная с «потока воды», далее к «над бурным водопадом» и, на сотой попытке, доходила до «человек прыгает в глубокий водопад с горной вершины».

Вдобавок, когда исследователи просили участников вспомнить просмотренные фрагменты видео, модель ИИ успешно генерировала описания этих воспоминаний. Это доказывает, что мозг, по всей видимости, использует для просмотра и для запоминания схожие процессы.

Эта технология, использующая неинвазивную функциональную магнитно-резонансную томографию, способна усовершенствовать процесс перевода невербальных ментальных представлений, которые регистрирует вживленный в мозг имплант, непосредственно в текст. И, возможно, в будущем поможет пациентам, потерявшим способность к речи.

Американец Ник Рэй, страдающий боковым амиотрофическим склерозом, стал первым человеком, которому удалось достаточно ловко управлять механической рукой, не двигая ни одной мышцей. Недавно он опубликовал видео, где с помощью мозгового импланта Neuralink заставляет роботизированный манипулятор поднять стаканчик с водой и поднести его к губам.