Директор Монреальского института алгоритмов обучения Иошуа Бенджио и Ян Лекун, вице-президент и главный специалист по ИИ в Facebook, рассказали на прошедшей онлайн Международной конференции по обучению представлениями (ICLR 2020) об обучении с самоконтролем и других исследовательских тенденциях в ИИ, сообщает Venture Beat.
Обучение с учителем — один из методов машинного обучения на размеченных данных. По мнению Лекуна, этот подход будет играть все меньшую роль, а на смену ему придет неконтролируемое обучение. Вместо того чтобы опираться на аннотации, такой алгоритм генерирует метки из данных, раскрывая взаимоотношения между элементами данных. Это крайне важный шаг в приближении машинного интеллекта к человеческому.
«Большую часть того, что узнаем мы, люди, и узнают животные, происходит в режиме самообучения, а не обучения с подкреплением. Фактически, это наблюдение за миром и взаимодействие с ним понемногу, — сказал Лекун. — Этот тот тип обучения, который мы не знаем, как воспроизвести внутри машины».
Главное препятствие на этом пути — неопределенность. Исследователи пока не умеют получать полезные распределения значений в ситуации, когда они не дискретные, а продолжительные. По мнению Лекуна, решением может быть модель, которая изучает математические элементы в наборе данных и пытается генерировать схожие наборы данных. В прошлом такой метод было сложно применять на практике, но недавние исследования позволяют преодолеть этот барьер.
Бенджио, со своей стороны, полагает, что ИИ многое может взять из области нейробиологии, в частности, из исследований сознания. Он предполагает, что новые исследования позволят понять, как высокоуровневые семантические переменные сочетаются с методом обработки информации — в том числе, визуальной — мозгом. Эти переменные — элементы человеческой коммуникации, и они могут привести к появлению нового поколения моделей глубокого обучения.
Еще один отсутствующий у ИИ компонент — подспудное знание. По словам Лекуна, большинство людей могут научиться водить машину за 30 часов, потому что обладают интуитивным пониманием принципов действия автомобилей. Модели обучения с подкреплением вынуждены начинать с чистого листа. Они совершают тысячи ошибок, прежде чем учатся принимать безопасные решения.
«Очевидно, мы должны изучать модели мира, и в этом основной смысл обучения без учителя — запуск предиктивных моделей мира позволит системам учиться очень быстро при помощи этой модели, — сказал ученый. — Теоретически, это очень просто — за исключением неопределенной среды, которую мы вообще не можем прогнозировать».
При этом Лекун подчеркнул, что даже обучения с самоконтролем и знаний нейробиологии недостаточно, чтобы достигнуть универсального искусственного интеллекта (AGI), гипотетического ИИ, способного к пониманию.
«AGI не существует — нет такой вещи, как универсальный ИИ, — заявил он. — Мы можем говорить об интеллекте уровня крысы, кошки, собаки или человека, но не об универсальном интеллекте».
Однако Бенджио полагает, что постепенно машины приобретут способность получать любые виды знаний о мире не из опыта. Скорее всего, из некоего вербализированного знания.
