Neuralink провела «хакатон» прямо дома у участника исследования: за 72 часа инженеры компании хотели создать как можно больше прототипов функций, которые упростили бы общение с помощью нейроимпланта, и протестировать каждую из них непосредственно с пользователем. Вместе с участником и его женой команда проверяла новые решения в повседневных ситуациях, собирала отзывы и сразу вносила изменения. Такой подход позволил быстро оценить удобство функций — старта записи, исправления ошибок и навигации по нужным инструментам.
Всего команда представила восемь разработок. Одна из них — система нейронного обнаружения голосовой активности. Она определяет по сигналам мозга, когда человек намеревается говорить, и автоматически запускает или останавливает запись. Раньше для этого требовалось нажимать кнопку. Другая функция показывает в реальном времени интенсивность и распределение сигналов, поступающих от импланта. С ее помощью участник мог пробовать разные варианты мысленного представления речи и выбирать те, которые вызывали более выраженную нейронную активность.
Еще один прототип позволяет запускать ИИ-агента Grok с помощью мысленной команды и поручать ему задачи на компьютере. Инженеры также доработали Bloom — мобильное приложение Neuralink, которое преобразует сигналы мозга в текст или синтезированную речь. Благодаря интеграции с клавиатурой iOS пользователь может диктовать текст в любом приложении на iPhone, не переключаясь между разными режимами. Команда также упростила исправление ошибок распознавания. Кроме того, теперь начать общение можно прямо с экрана блокировки: для этого не нужно разблокировать телефон и открывать Bloom.
Neuralink также интегрировала Bloom со звонками на iPhone: синтезированная на основе нейронных сигналов речь передается непосредственно в аудиопоток вызова. Это позволяет человеку общаться по телефону без необходимости пользоваться обычной речью. Во время тестирования участник и его жена смогли снова шутить друг с другом по телефону — когда-то их отношения начались именно с телефонных разговоров.
Параллельно Neuralink сообщила о первых количественных результатах исследования VOICE. Один из участников с БАС достиг скорости 75 слов в минуту в течение первой недели использования системы.
При словаре из 125 тыс. слов частота ошибок распознавания (WER) составила 5,8%. Эти данные представил руководитель исследования доктор Надер Пуратиан на ежегодной конференции Северо-восточного консорциума по БАС.
Исследование VOICE оценивает возможности имплантируемого интерфейса Neuralink для восстановления коммуникации у людей с тяжелыми нарушениями речи. Устройство должно преобразовывать нейронную активность, связанную с попыткой говорить, в текст или синтезированную речь. При этом Neuralink подчеркивает, что ее импланты остаются экспериментальными и не одобрены FDA или другими регулирующими органами.
