Натараян называет спонтанное обучение языковым моделям важным трендом для умных помощников и существенной частью создания разговорных ИИ, технологией, которая пригодится для каждого. «Не ждите, пока к вам придет понимание спонтанного обучения. Начните с осознания того, что вам придется использовать спонтанное обучение с определенной частотой», — заявил он.
Спонтанное обучение, или обучение без учителя использует необработанные данные для выявления внутренних взаимосвязей и закономерностей между объектами. Еще один современный тренд — разработка систем самообучения, которые адаптируются на основе сигналов, полученных в результате взаимодействия человека и виртуального помощника, пишет VentureBeat.
Другой современный тренд — эволюция попыток вплести функции в опыт. Прошлым летом Amazon запустила в превью Alexa Conversations систему глубокого обучения, которая соединяет скиллы Алексы в цельный опыт при помощи рекуррентной нейронной сети, которая предсказывает ход диалога. Например, сценарий типичного вечера выходного дня включает скилл приобретения билетов, заказа столика и такси.
Нараян и Туровски согласились, что еще один новый тренд — мультимодальный опыт. Мультимодальные модели сочетают данные из нескольких источников — текст, фотографии, видео. К примеру, VisualBERT Google или ImageGPT OpenAI.
Туровски рассуждал на тему ограничения числа ответов, которые может дать голосовой агент. На экране список вариантов или ссылок может быть бесконечным, но аудио-ответы должны быть ограничены максимум тремя пунктами. Поэтому и от Amazon, и от Google требуется создание умных дисплеев и интеллектуальных помощников, которые могут и говорить, и выдавать визуальный контент.
В целом Туровски отметил растущую доступность голосовых помощников. Это происходит благодаря развитию переводческих моделей. Google Assistant уже может говорить и переводить на 44 языка.
Еще один апологет спонтанного обучения — Ян Лекун из Facebook. Не так давно он выступил в Принстоне с презентацией своей книги и заявил, что мы не получим такой универсальный интеллект, как у человека, из обучения с наблюдением или из многозадачного обучения. Придется обратиться к спонтанному обучению.
