Диалоговая система Meena, созданная разработчиками Google, была обучена на внушительном объеме примеров — 341 ГБ разговоров в социальных сетях. Это в 8,5 раз больше, чем было у другого нашумевшего ИИ — GTP-2 от OpenAI. Как пишут в блоге создатели, Meena умеет поддерживать беседу практически на любую тему и даже придумывает шутки.
Свободные диалоги на вольную тему для современных чатботов дело сложное, подчас невыполнимое. В определенный момент большинство из них начинает нести бессмыслицу или демонстрировать отсутствие базовых знаний о мире.
ИИ, не допускающий таких «детских» ошибок, вывел бы общение между человеком и машиной на новый уровень.
Чтобы оценить возможности Мины, Google разработала новую метрическую систему Sensibleness and Specificity Average (SSA), которая обращает внимание на важные характеристики естественного разговора. В частности, на то, несет ли каждое высказывание смысл в контексте (это умеют многие чатботы) и касается ли оно того, что только было сказано. Эта часть самая трудная для нынешних алгоритмов.
К примеру, если вы скажете «я люблю теннис», и чатбот ответит: «Это здорово», ответ будет содержать смысл, но не будет конкретным. Многие ИИ используют такие фокусы, чтобы скрыть тот факт, что не понимают, о чем вы говорите. Гораздо естественнее был бы конкретный ответ: «Я тоже, обожаю Рождера Федерера».
В итоге Мина получила 79% по оценке SSA, а Мицуко — выдающийся чатбот, получавший последние четыре года премию конкурса «AI Loebner» — только 56%. Живой разговор двух людей набрал по этой системе всего 86%.
К сожалению, поговорить с Миной пока нельзя. Она не будет доступна для бета-тестирования, пока разработчики не проверят ее на безопасность и непредвзятость. Вероятно, чтобы она не повторила судьбу чатбота Microsoft 2016 года, который за несколько часов живого общения с троллями превратился в расиста и женоненавистника.
Исследователи из Uber AI разработали новый языковой ИИ, который умеет придерживаться темы разговора или отстаивать мнение, высказанное в предложении. Хотя эта модель все еще не понимает значения предложений, которые составляет, такая технология обеспечивает большую степень контроля.
