Как создать реалистичную графику Grand Theft Auto 5 с помощью Deep Learning

1656568711 kak sozdat realistichnuyu grafiku grand theft auto 5 s pomoshhyu

от Чинтана Триведи

1*BgjLO87og9PUnDNtU7Ip7Q
Прежде чем судить меня, давайте признаем, что мы все делали это в GTA.

Этот проект является продолжением моей предыдущей статьи. В нем я объяснил, как мы можем использовать CycleGAN для передачи стиля изображения и применить его для преобразования графики Fortnite и сделать его похожим на PUBG.

CycleGAN – это тип генеративной соревновательной сети, способной имитировать визуальный стиль одного изображения и переносить его на другое. Мы можем использовать его, чтобы сделать график игры похожей на графику другой игры или реального мира.

В этой статье я хотел поделиться еще некоторыми результатами, используя тот же алгоритм CycleGAN, который я рассматривал в своей предыдущей работе. Сначала я попытаюсь улучшить графику GTA 5, адаптировав ее так, чтобы она выглядела как реальный мир. Далее я расскажу, как мы можем добиться тех же фотореалистичных результатов, не имея прежде всего воспроизведение высокодетальной графики GTA.

1*EZ0j8XVuf30B-ar3GXCIzg
Оба набора данных, которые я использовал для этого, доступны по этой ссылке на странице оригинального авторского проекта.

Для первой задачи я сделал скриншоты игры как нашего исходного домена, который мы хотим превратить в нечто фотореалистичное. Целевой домен происходит из набора данных городских пейзажей, который представляет реальный мир (который мы стремимся сделать таким, чтобы наша игра была похожа).

Результаты CycleGAN

1*3ZD4OtDtLVqQWExjydt6OA

На основе примерно трех дней обучения в течение примерно 100 эпох модель Cyclegan, кажется, очень хорошо адаптирует GTA к реальному миру. Мне очень нравится, что в этом переводе не теряются мелкие детали, а изображение сохраняет четкость даже при таком низком разрешении.

Главный минус – эта нейронная сеть оказалась достаточно материалистической: она повсюду галлюцинирует логотип Mercedes, разрушая почти идеальное превращение из GTA в реальный мир. (Это потому, что набор данных городских пейзажей был собран владельцем Mercedes.)

Как добиться такой же фотореалистической графики с меньшими усилиями

Хотя этот подход может показаться очень многообещающим для улучшения игровой графики, я не думаю, что настоящий потенциал состоит в том, чтобы следовать этому конвейеру. Под этим я имею в виду, что кажется непрактичным отображать такое очень детализированное изображение, а затем превращать его в нечто другое.

Не было ли лучше синтезировать изображения подобного качества, но с гораздо меньшим временем и усилиями на разработку игры? Я думаю, что настоящий потенциал заключается в воспроизведении объектов с низкой детализацией и разрешении нейронной сети синтезировать окончательное изображение по этой визуализации.

1*1DZl_0oqSQzKhUuL5GUh5g

Итак, на основе семантических меток, доступных в наборе данных городских пейзажей, я сегментировал объекты на снимке экрана GTA, что дает нам представление графики с низким уровнем детализации. Рассмотрим это как игровой рендеринг только нескольких объектов, таких как дорога, автомобиль, дома, небо и т.п., без детального проектирования. Это будет действовать как входящие данные для нашей модели передачи стиля изображения вместо очень подробного скриншота по игре.

Давайте посмотрим, какое качество конечных изображений можно создать из таких низкодетальных семантических карт с помощью CycleGAN.

Результаты синтеза изображений из семантических карт

1*kNx9TraXmaGHUeivjwQReg
Воспроизведение фотореалистичных сцен с семантических карт GTA 5.

Вот несколько примеров того, как это выглядит, когда мы воспроизводим график GTA с семантических карт. Обратите внимание, что я не создавал эти карты вручную. Это казалось по-настоящему утомительным, поэтому я просто позволил это сделать другой модели CycleGAN (она обучена выполнять сегментацию изображений с помощью набора данных городских пейзажей).

Кажется хорошее преобразование издалека, но если присмотреться, то совершенно очевидно, что изображение поддельное и не имеет каких-либо деталей.

1*XqPMGvpKwd4U7uN93dk6yQ

Теперь эти результаты составляют 256p и были сгенерированы на графическом процессоре с 8 ГБ памяти. Однако авторы оригинальной статьи показали, что можно создать гораздо более подробное изображение с разрешением 2048 x 1024p с помощью графического процессора с более чем 24 ГБ памяти. Он использует версию CycleGAN под наблюдением, которая называется pix2pixHD, которая обучена выполнять ту же задачу. А ложное изображение, мальчика, выглядит очень убедительно!

1*SJ09ZfgwAUw52XoL07jDGA
Вот полное видео, загруженное авторами этой статьи.

Вывод

GAN имеют большой потенциал изменить то, как индустрия развлечений будет производить контент в будущем. Они способны давать гораздо лучшие результаты, чем люди, и за гораздо меньшее время.

То же касается и игровой индустрии. Я уверен, что через несколько лет это изменит процесс создания игровой графики. Будет гораздо легче просто имитировать реальный мир, чем воспроизводить все с нуля.

Как только мы этого добьемся, выпуск новых игр также будет гораздо быстрее. Впереди увлекательные времена с этими достижениями в глубоком обучении!

Больше результатов в формате видео

Все вышеперечисленные результаты и многое другое можно найти на моем канале YouTube и в следующем видео. Если вам понравилось, не стесняйтесь подписываться на мой канал, чтобы следить за другими работами.

Спасибо, что читаете! Если вам понравилась статья, подпишитесь на меня на Medium, GitHub или подпишитесь на мой канал YouTube.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *