はじめに
早速ですが、以下の画像には違いが3か所あります!
2か所は既に〇印がついているのですが、あと1か所見つけられますか?
(正解は下をスクロールしてください)
正解はこちら!
忍者の左奥にあるスイカが違います。
(ツルの形や模様を見比べると違いが分かりやすいです)
結構難しいこの間違い探し、実は画像生成AIで間違いを作成しています!
本記事では、こちらの生成AI間違い探しをはじめとした、画像生成AI活用例を2種類ご紹介します。
生成AI間違い探し
まず1つ目は、先ほどご紹介した「生成AI間違い探し」です。
アプリについて
間違い探しの難易度は「やさしい」「むずかしい」の2パターンがあります。
どちらかをタッチすると画面が切り替わり、間違い探しが始まります。
画面上部の白いバーが制限時間です。1分で3か所の間違いを探します。
時間内に全ての間違いを見つけられなかった場合は、再度同じ間違い探しに挑戦することも可能です。
間違い生成の仕組みについて
間違い生成の仕組みとしては、大きく3つのステップがあります。
1. 画像をセグメント化
まず、元の画像を要素単位にセグメント化します。
↑の画像内②で色分けされている部分ごとにセグメント化がされている状態です。
ちなみに、セグメントのサイズの違いで「やさしい」「むずかしい」といった難易度が分かれています。「むずかしい」をチャレンジする場合は細かいパーツをよく見てみると間違いが見つかるかもしれないです!
2. 間違い生成箇所を選択
色分けされたセグメントの中から、毎回ランダムで間違いを生成するセグメントが選択されます。
1.では本来、画像内の全要素がセグメント分けされていますが、
元絵と比較して自然な画像生成が難しい部分(人物の顔)や、
あまりにも細かすぎて間違いが分からない部分(窓の一画のグラデーション度合い)などは事前に選択対象からは外しています。
3. 画像生成AIを使って間違いを生成
選択されたセグメント部分のみを、元画像に違和感がないように画像生成AIで再生成します。
↑の画像内③では、黄色い点線で囲われている3か所(犬の鼻・キャンバスの足・椅子の貫)が再生成されている部分になります。
なかなか自然で難易度の高い間違いが生成されています!
また、セグメントの選択及び画像生成AIによる間違いの生成はその場でリアルタイムに行われます。
間違いが作成される場所やどんな間違いが作成されるのかは誰にも分からないため、誰でも何回でも間違い探しを楽しむことができます
絵画ビューア
続いて2つ目は「絵画ビューア」です。
例えば、皆さんは絵画を見ている際、
「描かれていない絵画の外側にはどんな光景がひろがっているんだろう」
と思ったことありませんか?
この「絵画ビューア」はそんな考えから着想を得ました
アプリについて
今回アプリ内で使用している絵画は、スウェーデンの国民的画家カール・ラーション(1853-1919)の『画集「わたしの家」より』(所蔵:スウェーデン国立美術館)の26点の水彩画連作です。室内を描いた14点と、野外を描いた12点に分け、生成AIでそれぞれ1枚に合成しています。
(※絵画はパブリックドメインのものを利用しています)
以下の画像は実際に複数の絵画を生成AIで繋げたものです。
絵画の上下にオレンジの帯がついていますが、
この部分が、生成AIで絵画と絵画の間にきっと存在するであろう風景を補完した部分です。こちらも先ほどの「生成AI間違い探し」と同様、とても自然な仕上がりになっています。
生成AIで繋げた絵画の全体像は、モニターでスワイプしながら見ることができます。
また、「絵画ビューア」では生成AIで合成したこの大きな一枚絵をベースに、いたるところで画像生成技術が使用されています。
例えば、絵画の中では描かれていないようなドアの向こう側の光景を見ることができたり、
絵画の中の1シーンを写真のようなリアルな表現で見ることができたり。
画像生成AIの力を様々な表現から体感することができます。
現実にあったらこんな感じなのかな?と想像するのも楽しいですよね!
一枚絵の仕組みについて
「絵画ビューア」の一枚絵生成の仕組みを、以下の5つのステップに分けてご紹介します。
1. マスク生成1回目
絵画と絵画を繋ぐ部分(本来なら空白の部分)を画像生成するためのマスクを作成します。
2. 画像生成1回目
マスクした部分について、まずは大雑把に画像生成をします。
IPAdapterを使用することで、追加学習なしで元の絵画と違和感のない画風の画像を生成しています。
3. 詳細に再生成
より詳細に画像を再生成します。
ここで完成!としたいところですが、細かく手直ししたい部分や違和感のある部分がないか確認します。
特に、人物に関してはもともと絵画に描かれている人物とほとんど同じような風貌になってしまう等違和感が目立つためnegative promptに指示していたり、室内の場合は家具を出力してほしいためpromptに入れていたりします。
4.マスク生成2回目
1.と同様に、手直ししたい部分のみのマスクを作成します。
5. 画像生成2回目
2.と同様に手直ししたい部分の画像を再生成し、完成です!
まとめ
ということで、本記事ではDNPの画像生成AIの取り組みとして、
「生成AI間違い探し」と「絵画ビューア」の2つをご紹介しました。
これら2つの画像生成AI活用事例は、
大阪梅田にあるグランフロント大阪のナレッジキャピタル3階にて展示されており、現地では実際にモニターを操作して生成AIの技術を体感することができます。
「画像生成AIの力に触れてみたい」「もっと隅々までみたい」という方はぜひお立ち寄りください!