PUBGもFortniteも面白いですよね。
ということで以下はTurning Fortnite into PUBG with Deep Learningの日本語訳です。
Turning Fortnite into PUBG with Deep Learning
CycleGANの画風変換技術について理解し、ゲームのグラフィックMODへの応用可能性について探ってみましょう。
あなたがゲーマーであるなら、現在とても人気のあるふたつのバトルロワイヤルゲーム、FortniteとPUBGについて知っていることでしょう。
いずれも小さな島で、100人のプレイヤーが最後の一人になるまで生き延びるという、非常によく似たゲームです。
私はFortniteのゲーム性のほうが好みですが、PUBGのよりリアルなビジュアルも好きです。
そこで考えました。
開発者が提供するオプションに頼らずに、好みのビジュアルを選べるようにするMODを作ることはできないでしょうか。
FortniteのゲームをPUBGのグラフィックでレンダリングするMODがあれば夢が広がります。
私はディープラーニングがこの目的を果たすために役立つのではないかと考え、そして画風スタイルの変換に優れたCycleGANというニューラルネットワークに出会いました。
この記事ではCycleGANがどのような機能を持っているかを解説し、そしてFortniteをPUBGにするようトレーニングします。
What are CycleGANs?
CycleGANはGenerative Adversarial Networkの一種で、ドメインをまたぐ画風変換を行います。
これによって、Fortniteというドメインの映像を、PUBGのような別のドメインの映像に変換するように訓練することができます。
このタスクは教師を必要としません。
すなわち、両方のドメインで同じ構図の画像を用意する必要がないということです。
このモデルは、元のドメインの画像のオブジェクト構造を理解し、変換を施し、ターゲットドメインのオブジェクトと同じ外観にすることができます。
このアルゴリズムの最初の実装では、馬をシマウマに、オレンジをリンゴに、写真を絵画に変換するという、驚くべき訓練結果が得られました。
How do they work?
入力ドメインとしてFortniteを、ターゲットドメインとしてPUBGを使用し、CycleGANがどのように働くのか理解したいと思います。
両ゲームのスクリーンショットを大量に用意し、ひとつのネットワークがFortniteを、もうひとつのネットワークはPUBGのビジュアルスタイルを学習するようにGANのペアを訓練します。
ふたつのネットワークは、同じオブジェクトが同じものであることを学習し、それによってビジュアルスタイルを適切に変換できるように、同時に循環的に訓練されることになります。
次の図は、この二つのネットワークの循環的学習の様子を示したものです。
まずはFortniteのスクリーンショットから訓練プロセスを開始します。
ここではふたつのディープラーニングネットワーク、generatorとdiscriminatorを訓練していくことになります。
discriminatorは本物のFortniteの画像と、偽物のそれとを見分ける能力を強めていきます。
generatorはPUBGのスクリーンショットを参考に、入力されたFortniteドメインの画像をPUBGドメインの画像っぽく変換する能力を学習していきます。
この変換を有意義なものにするため、再構成の条件を強制します。
すなわち、生成された偽PUBGドメインから元のドメインに画像を変換する、もうひとつのgeneratorとdiscriminatorのセットを同時に訓練することです。
我々は、この逆変換が元の画像に似ていなければならないという条件を強制し、トレーニングプロセスにおける計算ロスの削減を試みました。
これはautoencoderに似ていますが、潜在変数の抽出を目指しているわけではなく、ターゲットドメインの画像を目的としているところが異なります。
このF2P generatorネットワークは、主に3つの畳み込みブロックで構成されています。
最初はFortniteを低次元にエンコードして潜在変数を抽出します。
次に、潜在変数をPUBGを表すものに変換します。
最後に、変換された潜在変数をデコードし、FortniteのイメージをPUBGっぽく見えるように復元します。
この訓練プロセスで私が遭遇した問題は、GPUのメモリが足りないせいで256*256の画像しか作れないことでした。
8GB以上のビデオメモリがあるGPUなら、512*512以上の画像を生成できるはずです。
大きな画像を作成できたなら、是非私に教えてください。
Results
12時間のトレーニング後CycleGANから生成された画像は、非常に満足のいくものでした。
このネットワークは、空、樹木、草の色をFortniteのものからPUBGのものへと変換することができました。
彩度の高かったFortniteの配色は、落ち着いたPUBGの色味へと変換されています。
Turning Fortnite into PUBG pic.twitter.com/9hBGnWLFaC
— ラナ・クアール (@rana_kualu) 2018年8月13日
空の青はくすみ、カートゥーン調だった草や木々の緑はまるでPUBGのそれのように見えます。
さらになんと、画面下部にあるHPと弾薬ゲージをPUBGのものに置き換えることすら学習していました。
両ドメインでリンクすることができなかったのはプレイヤーの様子であり、周囲のピクセルがぼんやりしているのはこのためです。
全体的にこのネットワークはとても良く動き、2つのドメイン間でオブジェクトを識別し、その外観を変更してくれました。
もっと長い結果を見たいのであれば、下の動画を見てください。
気に入ったらぜひここをクリックして私のYoutubeチャンネルを登録してください。
https://t.co/PuJ8IqPeEF
— ラナ・クアール (@rana_kualu) 2018年8月13日
Turning Fortnite into PUBG with Deep Learning (CycleGANs)
Application to graphic mods in games
結果を出せてうれしいですが、実際にPUBGの見た目でFortniteをプレイすることができるようになるまでには、まだまだ長い道のりがあることは明らかです。
しかし、これらのネットワークを使ってリアルタイムでより高解像度の映像を生成することができるようになれば、グラフィックを入れ替えるMODをゲーム開発者の手を煩わせることなく作ることが可能になるでしょう。
どんなゲームだろうと、自分好みのビジュアルスタイルでプレイすることができるようになるのです。
今後は、今回の記事で取り上げた技術を使って、ビジュアルを実写に差し替えることで、リアリズムを実現する方法を追求するつもりです。
続きを読みたいと思ってくれたのならmediumやYoutubeチャンネルを登録してください。
読んでくれてありがとう！
コメント欄
・ナイスアイデア、面白い
・Kerasで似たようなの作ったよ。
・CS GOで同じことやってみる！
・pix2pixHD :)
感想
馬をシマウマにするとか言われてもあっはいそうですかって感じでしたが、『FortniteをPUBGにする』とか言われると問答無用の説得力がありますね。
とはいえPUBGには壁をぶん殴ったり建築したりするアクションはないので、そのあたりの違和感は拭えませんが。
あとはこの映像をリアルタイムで作成してFortniteのゲーム画面に被せるMODを作成すれば完成ですが、それを実現するにはマシンパワーが全く足りないですね。
今はまだ、そんなことをするよりテクスチャをいじった方が早そうです。
しかしいずれは、スマブラをモータルコンバットのグラフィックでプレイできる時代が来るのかもしれません。
よし、それじゃあ次はディープラーニングでIdentity VをDead by Daylightにしよう。