Предварительная версия модели была выпущена в декабре — тогда она называлась Point-E и позволяла создавать несложные 3D-модели в виде облаков из точек. Shap-E намного быстрее и способна строить свои модели как «неявные функции» — математические формулы, которые могут быть представлены либо в виде текстурированных сеток, либо в виде полей нейронного излучения (NeRF). Машинное обучение также позволяет создавать трёхмерные модели на основе 2D-изображений. Разработчики обучили ИИ на большом наборе 3D- и текстовых данных.

Пока технология довольно примитивная, но у нее большой потенциал. По сути Shap-E — это реагирующая на естественную речь ИИ-модель, аналогичная ChatGPT, только с функциями 3D-дизайнера. С помощью нее можно будет создавать проекты деталей, зданий, скульптур, не касаясь мыши. А видеоигры смогут генерировать элементы на лету в ответ на слова или действия игрока.

Результаты работы ИИ — от одежды до домов — могут появляться в приложениях VR/AR. А 3D-печать позволит трехмерным моделям, созданным искусственным интеллектом, появиться в реальном мире, как только они будут получаться в более высоком качестве.