В будущем ускорителе LCLS-II-HE, рентгеновском лазере на свободных электронах, будет генерироваться до миллиона импульсов в секунду. Каждый импульс — это «снимок» атомов и молекул. Обрабатывать такие потоки напрямую невозможно — нужно либо отбрасывать данные, либо сжимать их так, чтобы не потерять важную информацию. Традиционные алгоритмы сжатия, например JPEG или ZIP, удаляют кажущиеся незаметными детали, но именно в этих деталях содержится информация о структуре и динамике материалов.
Метод, разработанный специалистами Национальной ускорительной лаборатории SLAC, использует нейросеть в паре с математическим инструментом — вейвлет-преобразованием. Сначала данные разделяются на компоненты разного масштаба (крупные структуры и мелкие детали). Затем нейросеть сжимает каждую компоненту отдельно, обучаясь представлять их в компактной форме. В зависимости от типа данных и желаемого качества размер файла уменьшается в 10-100 раз.
Помимо снижения затрат на хранение и управление огромными массивами данных, упрощается процесс их извлечения. Иногда исследователям требуется вновь обратиться к небольшому фрагменту сжатых данных. Метод позволяет распаковывать только нужные данные, что экономит время и сокращает расходы, пишет Techxplore.
Команда протестировала метод на разных типах данных: измерениях молекул и материалов, снимках магнитного поля Солнца и обычных фотографиях. Нейросеть адаптировалась к каждому типу данных, учась определять, какие особенности важны для разных измерений.
«При использовании обычного метода сжатия пришлось бы распаковывать весь файл целиком, на что могли уйти минуты, часы или даже дни, — пояснил Жантао Чэнь, один из разработчиков метода. — Наш метод позволяет распаковывать только интересующую область, а не весь массив данных, что делает его гораздо более эффективным».
Кроме того, исследователи отметили, что новый подход к сжатию может применяться в сочетании с более распространенными методами сокращения объема данных — например, с отбором только тех событий и характеристик, которые представляют интерес.
Американские физики разработали новый способ хранения информации в квантовых компьютерах, предложив использовать для этого механические колебания микроскопических структур. По мнению исследователей, технология может стать одним из ключевых элементов будущих квантовых вычислительных систем.
