Одной из проблем систем искусственного интеллекта остается расход энергии. Человеческий мозг содержит 86 млрд нейронов и потребляет всего 20 Вт энергии — примерно столько же, сколько небольшая светодиодная лампа. Для сравнения, обучение крупных языковых моделей требует десятков миллионов ватт мощности и масштабных центров обработки данных.

Разница заключается в принципах работы. Мозг функционирует асинхронно: в каждый момент времени активируются только те группы нейронов, которые необходимы для выполнения конкретной задачи. Благодаря этому сложные вычисления происходят с минимальными энергетическими затратами. Современные нейросети устроены иначе — миллионы или миллиарды искусственных нейронов работают синхронно и одновременно обновляются под управлением общего вычислительного механизма.

По словам руководителя исследования, профессора Хавы Зигельманн, такой подход был эффективен на ранних этапах развития нейронных сетей, однако с ростом числа параметров энергетические затраты стали стремительно увеличиваться. Попытки перейти к асинхронным вычислениям предпринимались и ранее, но существующие решения сталкивались с трудностями при обучении и адаптации моделей.

Чтобы объединить асинхронность с обучением, ученые создали новую архитектуру ANT (Asynchronous Neural Turing Networks, асинхронные нейронные сети Тьюринга). Разработка позволяет отказаться от глобальной синхронизации вычислений и при этом сохраняет возможность использовать современные методы обучения, включая обратное распространение ошибки и градиентную оптимизацию.

В алгоритме ANT на каждом вычислительном шаге обновляются только те нейроны, которые действительно необходимы. Это позволяет не задействовать всю сеть постоянно и сокращает объём вычислительных операций. При этом разработчики предусмотрели механизмы сохранения данных между асинхронными обновлениями, что обеспечивает высокую производительность системы.

Исследователи работают над дальнейшим снижением энергопотребления и развитием возможностей непрерывного обучения в реальном времени. ANT может применяться в робототехнике, беспилотном транспорте, периферийных вычислениях и других автономных системах, где важны экономия энергии и способность быстро адаптироваться к изменяющимся условиям.