«Человеческий мозг, напротив, учится последовательно и интегрирует новые данные в существующее знание, — сказал Максим Баженов, профессор медицины из Калифорнийского университета в Сан-Диего, — и обычно лучше всего учится, когда новые навыки перемежаются с периодами сна для консолидации памяти».
Баженов и его коллеги опубликовали статью, в которой описывают, как новые биологические модели могут способствовать снижению риска катастрофического забывания в нейросетях и повышению их эффективности в различных научно-исследовательских проектах, пишет EurekAlert.
Ученые взяли за основу импульсные нейронные сети, которые имитируют естественные нейронные системы. Информация в них передается в виде дискретных событий, или импульсов, вместо того чтобы поступать непрерывно. Исследователи обнаружили, что благодаря периодам бездействия, которые имитировали сон, удается предотвратить процессы катастрофического забывания. Как и у людей, сон нейросети позволяет ей проиграть старые воспоминания, не используя в явной форме старые данные.
«Когда мы изучаем новую информацию, нейроны активируются в определенном порядке, это увеличивает синапсы между ними, — сказал Баженов. — Во время сна заученные во время бодрствования паттерны импульсов спонтанно воспроизводятся. Это называется реактивацией или повтором. Синаптическая пластичность, то есть способность к изменению или формированию, действует во время сна и может еще больше увеличить паттерны синаптического веса, которые образуют память, чтобы помочь предотвратить забывание или обеспечить перенос знания с старых на новые задачи».
Применив этот подход к искусственным нейросетям, ученым удалось защитить их от процесса катастрофического забывания. Это значит, что нейросети могут обучаться непрерывно, как люди или животные, но для этого нужно давать им отдыхать.
С середины прошлого века ученым известно, что фаза быстрого сна совпадает с этапом, когда возникают сновидения. Но смысл движения в этой фазе глазных яблок оставался загадкой и предметом дискуссий. Некоторые исследователи предполагали, что движения происходят для увлажнения век, другие выдвигали гипотезу о том, что глаза следят за происходящим во сне, но не могли ее доказать. Команда ученых из США нашла подтверждение этой гипотезе.