«Это одно из самых сложных применений обучения с подкреплением в реальном мире», — заявил Мартин Ридмиллер, исследователь из DeepMind.

Контролируемый синтез ядер атомов водорода, в процессе которого выделяется большое количество энергии, оказалось чрезвычайно сложно воспроизвести в земных условиях. Ядра отталкивают друг друга, так что заставить их столкнуться можно только при температуре в сотни миллионов градусов. Вещество в таких условиях становится плазмой, которую требуется удерживать внутри реактора достаточное время, чтобы добыть из нее энергию. Внутри звезд эту работу выполняет гравитация. На Земле ученые прибегают к различным трюкам вроде лазеров и магнитов.

Управление плазмой требует постоянного наблюдения и изменения параметров магнитного поля. Алгоритм DeepMind научили выполнять эту работу в симуляции, а затем, когда он показал, что способен контролировать и менять форму плазмы внутри виртуального реактора, ученые передали ему управление экспериментальным токамаком TCV в Лозанне, рассказывает Technology Review.

Результаты эксперимента показала, что ИИ может контролировать реальный термоядерный реактор без дополнительной настройки. Он управлял плазмой в течение всего двух секунд — это предельное время для токамака TCV, иначе температура становится для него слишком высокой.

За это время алгоритм несколько тысяч раз измерил 90 различных параметров, описывающих форму и положение плазмы, и управлял напряжением в 19 магнитах. Этот контур обратной связи намного быстрее, чем те, с которыми приходилось иметь дело системам обучения с подкреплением раньше. Для того чтобы ускорить процесс, ИИ разделили на две нейросети. Большая — названная критиком — училась методом проб и ошибок, как управлять реактором внутри симуляции. Затем навыки критика реализовывала быстрая нейросеть — «актер» — которая и занималась реактором.

«Это невероятно мощный метод, — признал Джонатан Ситрин из Голландского института фундаментальной энергетики, не участвовавший в исследовании. — Это важный первый шаг в очень многообещающем направлении».

Ученые убеждены, что применение ИИ для управления плазмой упростит проведение экспериментов с различными условиями внутри реактора, поможет понять процесс и ускорит появление коммерческой энергии термоядерного синтеза.

Первым научным приложением способностей ИИ DeepMind стало решение одной из самых трудных проблем биологии. ИИ предсказал, как свертываются белки из линейной цепочки аминокислот в трехмерные формы, позволяющие им выполнять важные функции. Через полтора года компания предоставила свободный доступ к структуре почти всех белков в теле человека, а также к примерно 100 млн других белков 20 наиболее изученных организмов.