SoftBank запустила первые исследования, посвященные ИИ-переводчику с языка жестов в 2017 году. В сотрудничестве с разработчиками из стартапа Abeja и Токийского университета компания создала алгоритм, который изучил более 50 тыс. видео с характерными движениями рук для общения на языке жестов. Платформа уже поддерживает около 5 тыс. размеченных слов, необходимых для повседневного разговора, и переводит слова на языке жестов на японский в течение одной секунды или быстрее.

Сейчас компания сосредоточена на повышении точности системы. Как и в случае с разговорным языком, люди, которые общаются с помощью языка жестов, говорят с разной скоростью. Положение их рук также варьируется в зависимости от индивидуальных особенностей собеседника. В среднем ИИ переводит знаки с точностью более 90%, но когда система сталкивается с необычной жестикуляцией точность может упасть до 50%. Чтобы повысить скорость распознавания знаков, алгоритм должен научиться считывать более 100 вариаций одного жеста на слово.

Актуальная версия платформы SoftBank работает на базе популярных видеомессенджеров. ИИ автоматически преобразует слова говорящего в текст на экране плохослышащего собеседника, а в процессе ответа переводит жесты в такой же текст. Кроме того, система самостоятельно расставляет послелогические частицы, чтобы составить полноценные предложения, которые не отличаются от устного общения.

В июле этого года SoftBank начала регистрировать добровольцев, заинтересованных в новой технологии. В ближайшие месяцы система станет доступна для японских организаций, специализирующихся на поддержке людей с ограниченными возможностями. Затем холдинг передаст алгоритмы медицинским учреждениям и операторам общественного транспорта. И на последнем этапе — в 2024 году — компания переведет свое решение в открытый доступ.