初めに
最近話題となっているAI画像生成により、人がイラストが描くという作業にもついに次世代の波が普遍的に感じられるようになってきました。
その中でVRで使用するアバターなどのオブジェクト類にもイラストだったりオブジェクト自体の作成などクリエイターの技術によって支えられているものが多くあります。
もしかしてAIでオブジェクトを作成しました！などの技術があるのではないかと考え調べてみたら面白い記事が見つかりました。
AIによる写真チックな360°パノラマ画像の作成
Zero-Shot Text-Driven HDR Panorama Generation
上記のものはシンガポールの南洋理工大学(Nanyang Technological University)の論文です。
この論文では3Dシーンのフォトリアル照明や360度反射の情報を持ったHDIR画像の撮影が一般には難しい事を問題としています。そしてその解決として素人でも直感的に操作でき汎用性のある生成モデルが必要であると説いています。
その後説明されるText2Lightはシーンの説明となる自由形式のテキストを与えると4K以上の解像度の HDIR(High Dynamic Range Images)1 画像を作成できるというものです。
DeepLでの翻訳ですが、
photo of orange chairs(オレンジチェアの写真), brown wooden chairs inside cathedral(大聖堂の中の茶色の木の椅子)
といった風に入力した文字列に応じてこのような画像を生成するようです。
サイトのサンプルをクリックすると、生成された画像を用いて作成したと思われる360度回転するサンプルもありました。
このようにイラストをAIにて生成する技術だけでなく、HDRパノラマ画像もAIによって生成する技術が発達してきていることを知れました。
実際の論文や、githubへのリンクなども上記に掲載したリンクにありますので気になった方々は一読してみてください。
論文で記載されているText2Lightの概要
まとめ
普段このような360°の光源までくっきりした画像は全天体カメラや複数の写真をツールによって合成する等で作成され、
手間のかかるものが多いといった認識です。
このような技術の進歩はSociety5.0で実現されるAIにより必要な情報が必要な時に提供される社会に強く結びついていると思います。
ゆくゆくはSFチックなフォトリアリスティック画像が生成され、魔王城のようなデザインの部屋を作成したい！
といった要望などにも応えられていくのでしょうか？楽しみです。
参考文献
Text2Light: Zero-Shot Text-Driven HDR Panorama Generation
論文本体
Text2Light Github
-
HDR(High Dynamic Range)技術で生成された画像イメージ。明るさの違う複数の写真、例えば白飛びや黒つぶれ等様々な写真の露出を合成することで適切な露出で撮影された写真を生成することができる。 ↩