Как компании стали применять нейросети

Применять нейросети в игровой разработке, а именно в арте для игр, начали несколько лет назад. Сначала это были попытки генерации подходящих картинок в DALL-E — нейросеть по сути была первым удобным и результативным инструментом, и художники сразу стали пытаться сгенерировать картинки для проектов.

Тогда результат был не очень классный, поэтому в основном использовали его в качестве развлечения. Но когда появился Stable Diffusion и возможность обучать нейросети, использовать их стали намного чаще. Фаза активного обучения началась примерно год-два назад. Именно с этой программы началось коммерческое применение нейросетей, поскольку в Stable Diffusion есть возможность обучать искусственный интеллект своим моделям, генерирующим изображения в определенной стилистике.

Коммерческое применение началось позже. Если взять базовую модель и начать генерировать конкретную картинку, то можно добавить запрос на определенный стиль, например, Ван Гога или Малевича, и результат будет похож на их работы, так как в интернете много репродукций художников. Но игры рисуются немного в других стилях, и нейросети сначала не понимали, в каком именно нужно генерировать арт, чтобы он подошел к конкретной игре или к проекту. Когда появилось обучение нейросети определенному стилю, стало возможным генерировать визуальный контент на основе уже нарисованных художниками концептов для существующей игры. Если у проекта есть наработанные данные и определенный стиль, то можно взять отрисованный контент и на его основе обучить нейросеть. В дальнейшем ИИ будет генерировать весь контент уже в стиле игры. Особенно это относится к простым фоновым объектам, например, лавочкам или простым домикам для игры-фермы.

Как нейросети создают дизайн для игр

К сожалению, нейросети не работают в новых проектах, где уникального визуального стиля еще нет. ИИ не поможет создать визуал, например, для новой action-RPG игры, не похожий ни на что другое. Но новым играм нейросети могут помочь с мелкими задачами, например, с созданием новых иконок — одежды, ингредиентов, элементов одежды персонажей, а также с референсами. Так, Midjourney значительно ускоряет процесс поиска визуальных референсов, поскольку программа уже обладает огромным запасом информации, хранящейся в Интернете, и может быстро генерировать интересные визуальные сочетания.

С точки зрения концепт-арта, нейросети лучше всего работают там, где есть готовый контент, повторяющиеся события, внутриигровые ивенты и где рисуются небольшие объекты, не влияющие на сюжет. Если говорить про сложные объекты и механизмы, то художник все еще должен рисовать их самостоятельно, потому что нейросети недостаточно хорошо справляются с такими задачами. Плохо пока нейросети работают и в создании 3D-контента. Пока что все инструменты ИИ, которые предлагают что-либо 3D-подобное, неприменимы на практике.

При этом у команд, внедривших нейросети в активную работу, снижается объем контента, который нужно рисовать вручную. В некоторых российских геймдев-компаниях снизились затраты на аутсорс-арт. Если раньше простые задачи в основном отдавали на аутсорс, то развитие ИИ значительно снизило издержки на эти услуги. Если мы сокращаем затраты на аутсорсинг за счет использования нейросети внутри компании, то кто-то все равно должен заниматься подготовкой контента для обучения ИИ, работой с промптами и интеграцией сгенерированного контента в игру.

Тем не менее, аутсорсинг-специалисты вряд ли останутся без задач, многие компании скорее делают выбор в пользу увеличения количества разрабатываемого контента для проекта, так как часть его теперь рисуется особенно быстро.

Также пока рано переживать о замене профессии арт-дизайнера искусственным интеллектом, но художникам стоит учиться использованию нейросетей.  Например, если 10 лет назад профессионал должен был уметь рисовать только в Фотошопе, то позже появилось требование знать 3D-программы. И точно так же, сейчас практически во всех новых вакансиях появились требования к владению нейросетями — это лишь новый инструмент для работы художника.

Перспективы использования ИИ в дизайне игр

Что касается перспектив использования нейросетей, если брать пайплайн разработки арта для игровой индустрии, то он включает в себя visual-development, концепцию локации либо отдельных предметов и персонажей, создание 3D-модели, скульптинг, ретопологию (оптимизация 3D-сетки), текстуры, риггинг и скиннинг, а затем — анимацию. Среди этих этапов есть моменты, которые точно должен будет делать художник, например, скульптинг — когда нужно задать основные формы, движения персонажей, детали. Вряд ли в ближайшие несколько лет нейросети смогут тут заменить художника. А, например, ретопологию, где нужно взять высокополигональную модель и настраивать сетку, хотелось бы отдать нейросети. К сожалению, это ручная, долгая и несколько нудная работа, а ИИ мог бы ускорить и облегчить процесс.

Интеграция нейросетей в процесс дизайна игр

В процессе интеграции нейросети в игровой компании могут возникнуть проблемы. Во-первых, чтобы пользоваться нейросетью, нужен обученный художник. Для полноценного использования Stable Diffusion, например, нужны: GitHub, Python, работа с командной строкой и т. д. Для многих художников, в особенности 2D-художников, это тяжелый процесс. Во-вторых, если говорить на уровне компании, то при потоковом производстве контента в начале пути внедрения ИИ нарушаются налаженные процессы, дедлайны, планы. При введении нового элемента в виде нейросети предсказуемость работы снижается. Поэтому иногда препятствия возникают на организационном уровне, потому что переформирование процессов — это тяжелая для бизнеса история. В идеале в компании должна быть команда RnD, занимающаяся разработками. Они могут заняться изучением издержек и повлиять на рабочий процесс, снижая затраты на услуги аутсорсинга за счет внедрения в пайплайн нейросетей, но сами RnD-команды — это дорого и не всегда возможно.

Сегодня нейросети становятся полезным инструментом для работы художника, и во многом ускоряют работу. Игровые компании, уже внедрившие их в пайплайн, могут либо сократить затраты на разработку арта, либо увеличить количество визуального контента в своих играх, но для самого внедрения необходимо перестроить процессы в командах — на это идут не все. Также не стоит забывать, что нейросеть не генерирует ничего принципиально нового — все картинки будут повторениями стиля или объекта, а значит человеческий разум и навыки все еще востребованы.