(※ 本記事は創作+機械学習 Advent Calendar 2022の5日目です)
皆さ～ん！
イラスト生成してますか～？
応援している人のイラスト（男性） | かわいいフリー素材集 いらすとや
2022年も激動の年でしたね。
AlexNet10周年を迎えた深層学習分野もまた激動の年でした。
nijijourneyやNovelAIに代表されるイラスト生成サービスの一般化は
深層学習分野の中でも印象深いのではないかと思います。
↑ nijijourneyで生成したイラストの例
呪文(prompt)と呼ばれる文字列から高精細なイラストを生成できるのがこれらのサービスの魅力です。
「散らかった部屋」等の難しい指定も対応可能で、適切な呪文さえあれば非常に魅力的なサービスです。
そう、適切な呪文さえあれば……
そうなんです、呪文が分からないことが多いのです。
上の3枚のイラストの呪文は、左から順にこのようになっています。
- best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, beautiful detailed dynamic lighting, detailed cute iridescent girl with oversized black and blue jacket in harajuku fashion standing in field of red flowers, short hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
- best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
- best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion sitting in detailed cluttered room, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
なんこれ？
本記事ではこれがどのように書かれているのか
実際にnijijourneyで生成できるように説明することを目標としています。
本記事が皆様の楽しい呪文ライフの一助になれば幸いです。
イラスト生成呪文 ベストプラクティス [nijijourney]
(すでに生成したことのある方は中級編までお進みください)
初級編: イラスト生成を始めてみよう
初級編では、イラスト生成をするまでの詰まりやすい所を説明します。
まずは、nijijourneyでイラスト生成するまでこぎつけましょう。
(ぶっちゃけ、これが一番難しいです)
公式Discordに参加する
nijijourneyはDiscord上のサービスとして提供されています。
イラスト生成するためには公式Discordに参加する必要があります。
(※ 2022/12/10 現在)
nijijourney公式ページより公式ディスコードに参加してください！
(オープンベータテスト開始に伴い、招待待ちする必要がなくなりました)
#はじめに チャンネルには日本語の説明があるので、クリックして一読しておくことをオススメします！
/imagineコマンドでイラスト生成する
イラスト生成は #画像生成 / #image-generation などの一部チャンネルやDMでのみ可能です。
Discord上で#画像生成をクリックなどして生成可能な所に行きましょう。
それでは/imagineコマンドを使ってイラスト生成してみましょう。
/imagineと入力すると以下の表示が現れます。
上の表示をクリックすると、呪文(prompt)が入力できます。呪文を入れてエンターを押しましょう。
(呪文はカンマ(,)や読点(、)で区切ることができます。複数要素を指定する際におすすめです)
「ラーメンを食べている」イラストにしたい (主題) と考え
その楽しい雰囲気をアシストするような「浴衣、花、提灯」を一緒に呪文にしました。
エンターを押して少し待つと、呪文の要素を含む4枚のイラストが生成されます！
(あんまりラーメンは食べてくれませんでしたね……)
4枚のうち1枚選んで イラストを拡大する機能(U) / 似たイラストを生成する機能(V) が提供されています。
(数字はどのイラストを選ぶかを意味します。左上が①, 右上が②, 左下が③, 右下が④です)
「コレは！？」と思うものがあれば、ボタンを押して使ってみましょう！
以上で、呪文を使ったイラストの生成は完了です！ 思い通りのイラストは生成できたでしょうか？
しばらくは無料で生成できるので、オリジナルの呪文を考えて試してみましょう！
(※ 一定枚数以降は有料プランが必要になるため、ご注意ください)
/imagineコマンドに使えるoptionを知る
/imagineではpromptに書き加えることで、幾つかのオプションが利用可能です。
特に重要なのは以下の2種類です。
-
「--ar 2:3」: 縦長のイラスト生成 / 「--ar 3:2」: 横長のイラスト生成
何も指定しなければ縦横同じサイズのイラストが生成されますが
これらを指定するとサイズ変更ができます。 -
「--q 2」: 2倍の生成時間
2倍の時間をかけて生成します(0.5~2までで他の数字も入力可能です)。
2倍のコストがかかってしまいますが、その分細かく描写されます。
(※追記: 中の人いわく、「--q 1」で十分であまり効果がないとの話も……)
他のオプションについてはユーザーガイドが詳しいです。
有料プランに加入する
(※ 2022/12/04 現在)
一定枚数以降のイラスト生成は、10ドルまたは30ドルの有料プランが必要です。
/subscribeコマンドで有料プラン加入手続きが可能なので
無料試用で期待できそうであれば利用を検討すると良いと思います。
ようこそ、沼へ
中級編: 呪文のコツを掴もう
中級編では、実際に有効性が広く確認されているtipsについて紹介します。
ここまで読み進めて来た方は、既に幾つかの呪文を試されてきたことだと思います。
(そして、思い通りにいかないことから挫折されてきたことと思います)
nijijourney等のイラスト生成サービスでは、生成1回あたりに 時間的 / 金銭的 コストが発生します。
実質的な試行回数は制限されていると考えられ、闇雲に呪文を探すことは困難です。
限られた試行回数の中では、限られた試行回数でも成立させるための指針が重要となります。
そこで、中級編では先人が残した指針をいくつか紹介します。
品質系ワードや雰囲気系ワードを呪文に追加する
「背景が崩れてしまう」
「キャラクターの一部が壊れやすい」
「なんだかパッとしないイラストになってしまう」
このような悩みがある場合、呪文に必要なワードが欠けているのかもしれません。
最も効果的なのは、イラストの品質を向上させるワードを呪文に追加することです。
以下は、強い効果があるとされている品質系ワードの一例です。
これらのワードを組み合わせれば、イラストがぐっと良くなります。
(コメントは私個人の所感なので、鵜呑みにしないでください！)
- best quality (最高品質)
高品質なイラストが生成されやすくなります。主に全体の光加減や色使いに効きます。 - ultra-detailed (超高精細)
良いカメラで撮ったような、非常にリアルなイラストが生成されやすくなります。
キャラクターや背景に効きますが、写実的になりすぎることがあります。 - 8k wallpaper (8k壁紙)
8k高解像度壁紙のような、高精細なイラストが生成されやすくなります。
主に背景が精細なものになります。 - pixiv artwork (pixiv作品)
イラスト・マンガ・小説作品SNS「pixiv」で投稿されるような
繊細なイラストが生成されやすくなります。キャラクターや背景に効きます。
品質系ワードを追加してもまだ足りない場合は
ライティング・アングル・ポーズ・絵柄・色合いなどを指定することで
さらにイラストの雰囲気を改善できるかもしれません。
以下は、強い効果があるとされている雰囲気系ワードの一覧です。
- dynamic lighting (大胆なライティング)
イラストの光加減が過剰になりやすくなります。
明暗や色使いが大胆になり、鮮やかなイラストが生成されやすくなります。 - dynamic angle (大胆なアングル)
イラストの構図が極端になりやすくなります。
破綻しやすくなりますが、思わぬ良い構図のイラストが生成されやすくなります。 - dynamic pose (大胆なポーズ)
キャラクターの姿勢が極端になりやすくなります。
破綻しやすくなりますが、思わぬ良い姿勢のイラストが生成されやすくなります。 - illustration (イラスト) / anime (アニメ) / toon (マンガ)
緻密 / シンプル / 大胆 といった形で
それぞれの作品の雰囲気に近いイラストが生成されやすくなります。 - colorful (カラフル) / vivid (鮮明)
どちらも様々な色を含むイラストが生成されやすくなります。
前者は淡い色合いで、後者は鮮やかな色合いになります。
ライティング・アングル・ポーズ・絵柄・色合いなどの
雰囲気を指定するワードはそれぞれで細かな指定も可能です。
立つ / 座る / 歩くといった基本的な動作から
自分の好きな組み合わせを見つけてみましょう！
できるだけ英語を使ってみる
nijijourneyは多言語に対応しており、日本語でも柔軟なイラスト生成が可能です。
この多言語対応は自動翻訳機能により実現されており
日本語の文章を英語に変換してイラスト生成する形式になっています。
このため日本語でイラスト生成している場合
翻訳ミスによって上手く呪文が伝わらず悪いイラスト生成になることがあります。
自動翻訳による翻訳ミスを避けるためには、できるだけ英語を使うことが健全です。
「え、日本語で検討してたのに今更そんな事言われてもよくわかんないよ！？」
と思われるかもしれませんが、nijijourneyにはこれをサポートする機能があります。
「手紙(envelope)」のリアクションを
日本語でイラスト生成した発言につけると翻訳文が得られるのです。
先程の例で試してみましょう。
発言の右上にあるリアクション(顔のボタン)をクリックして、
を選択します。
すると、翻訳文がDMで送られてきます。
日本語: ラーメンを食べている、浴衣、花、提灯
↓
翻訳文: Eating ramen, yukata, flower, lantern
となったことが確認できました。
flower(花)やlantern(提灯)は単数形なので
複数を想定していた場合は翻訳ミスとみなせるかもしれません。
意図せぬ挙動を避けるためには一度で良いので
による翻訳文DM機能を使って英語を確認してみることが大切です。
日本語の呪文をやめて英語の呪文を使う場合は
この翻訳文をコピペして、必要な文章をカンマ(,)で区切りつつ追加していきましょう。
分からない単語や文章がある場合は、DeepLやGoogle翻訳などの翻訳サービスが役立ちます。
そして、気になる箇所があればバンバン直していきましょう。
また、得られた単語や文章が不安なときはGoogle画像検索での確認がオススメです。
イメージに近い画像が得られれば完璧です！ ジャンジャン追加していきましょう！
より細かな指定を入れてみる
生成したいものに細かなイメージがある場合
それをできるだけ呪文に盛り込んだ方がイラスト生成が良くなります。
細かい指定の例は以下の通りです。ぶっちゃけだいたい生成できるので色々試してみましょう！
(コメントは私個人の所感なので、鵜呑みにしないでください)
- 髪
色 (red / blue / green など) や 長さ (short / middle / long など) の指定が有効です。
特殊な髪型 (twintailなど) は指定すると近いものが出やすくなります。 - 目
主に色の指定が有効です。
美しい目(beautiful eyes)や繊細な目(detailed eyes)などの強調をすると綺麗な目になります。 - 服装
色やサイズや特殊な衣装など、かなり幅広い指定が可能です。
原宿系(harajuku fashion)や地雷系(jirai kei)などフワっとした指定も可能です。 - 表情
幸せ(happy)や悲しい(sad)など主に雰囲気の指定が可能です。また、様々な表情指定が可能です。
歯をにっと見せるイタズラな笑い方 (grin) など、雰囲気にあった好みの表情を探してみましょう。 - 動作やポーズ
立つ(standing)、座る(sitting)、歩く(walking)といった動作から幅広い指定が可能です。
指の形だけは苦手なので要注意！ - オブジェクトや背景
白背景(white background)などのシンプルなものから
海や駅、建物や宇宙まで幅広い指定が可能です。ポーズに適切なモノを選ぶとグッと良くなります。
上級編: 「前方優位の法則」を知る
上級編では、中級編から更に一歩踏み込んだイラスト生成サービス特有の挙動を考えていきます。
そしてここからオカルト色がグッと強くなります。
「同じワードのはずなのに、雰囲気がぜんぜん違う」
「さっき生成できたのが生成できなくなってしまった」
ここまで生成してきて、イラスト生成の不思議な挙動に驚いた方がいるのではないかと思います。
意外なことに、呪文は順番が少し変わるだけで結果が変わってしまうのです。
↑ 「女の子、湖、…」の例
↑ 「湖、女の子、…」の例
最初の方のワードがより重視される傾向にあることから、この経験則は「前方優位の法則」と呼ばれます。
より確度の高い呪文とするためには、前方優位の法則を上手く活かす必要があります。
前方優位の法則を活かすため、主に2つのアプローチが取られています。
方針1 「品質優位詠唱法」
前方優位の法則に基づくと、最も重要なものを最初に持っていった方が良いと考えられます。
高品質なイラストであることが最も重要という考え方のもと
品質系ワードを最初に固めるアプローチがこちらです。
簡単な例を見てみましょう。
↑ girl standing on Uyuni salt lake
↑ best quality, ultra-detailed, 8k wallpaper, pixiv artwork, girl standing on Uyuni salt lake
いかがでしょうか。どちらも綺麗ですが
品質系ワードを先に固めるだけでより印象的なイラスト生成になることが確認できます。
基本的にはこのように、品質系ワードを最初に入れるだけで良いイラストになるのでオススメです。
方針2 「主題優位詠唱法」
では、高品質なイラストであることは絶対に重要なのでしょうか？
もちろん高品質であることに越したことはないのですが
高品質であること以上にそれ以外の部分を強調したいことがあります。
girl standing on Uyuni salt lake(ウユニ塩湖に立つ女の子)という主題を強調するなら
このような語順が考えられます。
↑ girl standing on Uyuni salt lake, best quality, ultra-detailed, 8k wallpaper, pixiv artwork
前方優位の法則に基づくと、品質よりもgirlやsalt lakeが強調されていると考えられます。
ひび割れた塩湖らしさや、ワンピースのような服装が強調されて……
いや、本当か？ オカルトじゃないのか？
げふん、ともかく、品質タグを最後に持っていくことで
主題を強調するというアプローチが取られることがあります。
キャラクターの髪型やポーズ、情景などの細かい部分を重視する場合
こちらの方針を試してみると良いと思います。
超級編: 「75 token」の呪いと短縮詠唱のススメ
最後となる超級編では、呪文の基礎となるtokenと呼ばれる単位について紹介します。
前方優位の法則まで習得したあなたは
ありとあらゆるワードを使いこなせるようになっていることでしょう。
キャラクターの髪型から身長・表情・服装、あるいは行動・シチュエーション。
時には何行にも渡って呪文を書き連ねてるかもしれません。
もしかするとそれ、呪文の無駄撃ちかもしれません……
tokenの基礎
呪文はtokenという単位に従って分割処理され、イラスト生成に使われます。
(詳しくはtokenizerで確認可能です)
↑ "best quality, ultra-detailed, 8k wallpaper, pixiv artwork, girl standing on Uyuni salt lake" は 22 token
1つの単語がおおむね1つのtokenです。
ただし、区切りのカンマ(,)も1つのtokenとみなされるため
見かけの単語数よりもtoken数はかなり多くなります。
「ああ、そういう感じで処理されてるんだ」と思われるかもしれません。
実際ここまでならそういう話で済むのですが、ここからが問題です。
「75 token」の呪い
nijijourneyでイラスト生成に使われるのは75 tokenまでで、76 token以降は無視されます。
もう一度言いますね。
nijijourneyでイラスト生成に使われるのは75 tokenまでで、76 token以降は無視されます。
これ、かなり衝撃的ですよね……
75 tokenを超える長い呪文を書いた場合、それ以降は完璧に無視されるので無駄となります。
この仕様のため、呪文は75 tokenという限られた長さで取捨選択する必要があります。
長い呪文を書いたときは必ずtokenを確認し、75 tokenを超えるなら何とか削減してください。
さもなくば、あなたの呪文はぶった切られます。
短縮詠唱のススメ
複雑な呪文を75 tokenに納めるためには、不要な表現を極力控える必要があります。
呪文のワードを厳選してtokenを75以下にする「短縮詠唱」を行いましょう。
下記のチェックリストは短縮詠唱の手助けとなるはずです。
- 「,(カンマ)」の2連がないか確認する
調整中にありがちな「, ,」も1 tokenになります。あれば真っ先に削りましょう。 - 「a」「the」を抜く
単数形の場合、これらの冠詞はなくても機能することが多いです。token数が1つ削減できます。 - 「-(ハイフン)」を使わない
ハイフンは1token扱いになります。可能であれば、ハイフンを使わない形式を利用しましょう。 - token数がかかるけどあまり影響のないワードを捨てる
pixiv "artwork"や8k "wallpaper"などの品質系ワードの一部は、無くてもある程度機能します。 - 比較的影響の少ない服飾や要素を捨てる
服飾指定は色や形状の指定により非常にtoken数がかかります。可能な範囲で削減しましょう。 - 機能しないワードを検討する
不要な品質系や雰囲気指定を削除できることがあります。
例えば、NovelAIで利用される「masterpiece」はnijijourneyでは利用不能であり、削れます。
上記で削れない場合は、どうしても欲しい部分以外を削るしかありません。
75 tokenを常に意識しながら可能な範囲で短縮詠唱を行い
難しいようなら必要性の乏しいものを諦めることをオススメします。
実践編: 今までの内容を踏まえて、最初の呪文を解析する
実践編では、初級から超級までの簡単なおさらいとして呪文解析を行います。
- best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
最初のイラストの一枚を持ってきました。もはや懐かしいですね。
この呪文がどのように構成されていたのか、これまでの内容を通して確認してみましょう。
最初に固められた品質系・雰囲気系 (中級+上級+超級)
best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
いくつか短縮詠唱を踏まえた上で冒頭に品質系・雰囲気系のワードが固められています。
アングルとライティング (中級)
best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
「from side」横からの構図
「face focus」顔に焦点を合わせた構図
「(beautiful detailed) dynamic lighting」(美しく詳細な)大胆なライティング
品質系・雰囲気系に次ぐ重要度として、アングルとライティングが指定されています。
主題 (初級+超級)
best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
「(detailed cute) girl」(詳細でキュートな)女の子
「with (oversized iridescent) jacket」(オーバーサイズで玉虫色の)ジャケットを着た
「in harajuku fashion」原宿系の
「walking on bridge」橋を歩いている
主題となる1文がその次に指定されています。
主題の中では幾つかの強調とともに、服飾とポーズ+背景が指定されています。
髪型、目、表情 (中級)
best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
「(short iridescent) hair」(短い玉虫色の)髪
「with (thin long) sidelocks」(細長い)もみあげのある
「(detailed blue) eyes」(詳細で青い)目
「(happy) smile」(幸せな)笑顔
主題に次ぐ重要度として、主題を補完する細かな指定が行われています。
iridescent(玉虫色)やsidelocks(もみあげ)などやや変わった単語が指定されていますが
まとまり単位で分解すると、ごく普通の髪や目などの指定であることがわかります。
イラスト生成オプション (初級)
best quality, highres, 8k, pixiv, illustration, deformed, ultra-detailed, vivid, from side, face focus, beautiful detailed dynamic lighting, detailed cute girl with oversized iridescent jacket in harajuku fashion walking on brigde, short iridescent hair with thin long sidelocks, detailed blue eyes, happy smile --q 2 --ar 2:3
「--q 2」 生成時間2倍
「--ar 2:3」 縦長の画像
最後に初級で紹介したオプションが2つ付与されています。
改めて呪文を見ると……
オーソドックスに品質系・雰囲気系を前に固め、アングルとライティングを指定し
主題とその補完を指定していることが分かりました。
使われているテクニックもほとんど中級程度であることがわかります。
考え方を踏まえると別に大したことしてないのが分かりますね。
また、こちらの呪文は68 tokenであり、75 token近くまで指定していることがわかります。
より長い呪文を使う際には、超級のテクニックが役立つはずです。
おわりに
初級から超級、そしておさらいの実践と順を追って、
nijijourneyにおける呪文がどのように形成されているか説明しました。
幾つかの構成要素や考え方の元に、一見不可解な呪文が、
ごく普通な形で組み合わされていることがご理解いただけたと思います。
ここまで読んだ方には既に、幾つかの実践的な内容が身についていることと思います。
そうです、何か生成するときにはbest quality, ultra-detailed, あたりを最初に付けてみてください！
本記事がどなたかの助けになれば幸いです。
それでは、インターネットのまたどこかでお会いしましょう。
ここまでお読みいただき、ありがとうございます。