Искусственные нейросети называются так потому, что их архитектура в некоторой степени имитирует биологические нейроны, обрабатывающие информацию в мозге человека, но все же не настолько, чтобы напрямую соединяться с нервной системой человека. Однако исследователи из MIT, лаборатории IBM Watson AI и Гарвардской медицинской школы предложили оригинальный вариант: они предположили, что биологическая сеть, состоящая из нейронов и астроцитов, способна выполнять те же вычисления, что и трансформер.

Недавнее исследование показало, что астроциты, нейроглиальные клетки мозга, обмениваются информацией с нейронами и играют роль в ряде физиологических процессов, например, в регулировании кровотока. Однако у ученых пока нет четкого понимания, что делают эти клетки с точки зрения информатики.

Этот вопрос и взялись рассмотреть ученые, рассказывает Science Daily. Для этого они разработали математическую модель, которая показывает, как астроциты и нейроны можно использовать для создания биологически правдоподобного трансформера.

Трансформеры работают иначе, чем прочие модели нейросетей. К примеру, рекуррентная нейросеть, обученная естественному языку, будет сравнивать каждое слово в предложении с внутренним состоянием, определяемым предыдущими словами. Трансформер же сравнивает все слова в предложении сразу, генерируя прогноз (механизм внутреннего внимания, или self-attention). Чтобы этот механизм работал, трансформер должен держать все слова наготове, но с биологической точки зрения это невозможно из-за особенностей работы нейронов.

Однако несколько лет назад ученые, занимавшиеся модель близкого типа, понял, что это внутреннее внимание может возникать в мозге, но только если есть коммуникация минимум между тремя нейронами. Это число связано со структурой астроцитов, соединяющих нейроны в трехчастные синапсы. Когда два нейрона общаются, пресинаптический нейрон посылает нейромедиаторы через синапс в постсинаптический нейрон. Иногда в этом участвует астроцит, создавая трехчастный синапс.

Каждый астроцит может создавать миллионы трехчастных синапсов. Поскольку астроциты действуют медленнее, чем нейроны, их клетки содержат больше информации. Таким образом, они напоминают буферы памяти, то есть именно то, что нужно для работы механизма внимания внутри трансформера.

На этом предположении исследователи и основали свою идею, которую затем дополнили математической моделью нейронно-астроцитовой сети, которая выполняет функцию трансформера. Вдобавок, они сравнили эту модель с цифровой, загрузив в нее изображения и текст и сопоставив ответы. Обе модели реагировали на запросы одинаковым образом.

Теперь авторы исследования собираются перейти от теории к практике. Они надеются сравнить прогнозы модели с данными биологических экспериментов и использовать эту информацию для уточнения или опровержения своей гипотезы.

В недавнем исследовании ученые обнаружили, что мозг способен учиться и формировать воспоминания даже без непосредственных внешних стимулов. В ходе эксперимента на мышах им удалось показать, что особый баланс дофамина и ацетилхолина — веществ, необходимых для обучения и памяти, — сохраняется даже в отсутствие непосредственного вознаграждения.