Давид Дювено из Университета Торонто работал над проектом анализа медицинских данных, когда ему пришла в голову эта идея. Он хотел создать модель глубокого обучения, которая предсказывала бы здоровье пациента. Но данные в карте больного неупорядочены: люди посещают врачей нерегулярно и по разным причинам. Обычным нейросетям трудно работать с такой информацией.
Нейронные сети состоят из слоев простых вычислительных узлов, которые помогают друг другу искать закономерности в данных. Дискретные слои не дают нейросети эффективно моделировать непрерывные процессы. Поэтому Дювено решил полностью отказаться от слоев. Ученый подчеркивает, что идея такого подхода принадлежит не ему, но его команда первой реализовала ее, пишет MIT Technology Review.
Дювено предлагает заменить слои на исчисления. В результате получается уже не сеть — в ней нет узлов и связей, только непрерывный поток уравнений.
Для того чтобы проиллюстрировать свою идею, автор приводит такую аналогию: сравните два музыкальных инструмента, скрипку и пианино. На одном можно двигать руку вдоль струн и менять частоту звука произвольно, на другом частота ограничена клавишами. Традиционная нейросеть как пианино. Отличный инструмент, но для определенных задач лучше подходит скрипка.
Идея Дювено и его коллег еще находится в фазе прототипа. Впереди многочисленные эксперименты и улучшения, прежде чем она сможет приносить практическую пользу. Новый метод может изменить всю отрасль ИИ — как в свое время ее изменил Йэн Гудфеллоу со своей работой о генеративно-состязательной сети.
Специалисты DeepMind тоже предлагают отказаться от нейросетей при создании универсального ИИ, поскольку современный подход, основанный на глубоком обучении, не смог обеспечить искусственному интеллекту способность мыслить как человек. Вместо него можно было бы использовать графовую сеть.