この記事は東京大学の応用物理学系(物理工学科と計数工学科)で行っている物工/計数アドベントカレンダー2023の最終日(25日目)の記事になります～

はじめに

どうも、ぽゃんです。学祭にてコンセプトカフェを出店するサークル『東京大学装い喫茶研究会』を設立して、代表をやっております。

「天使界隈」 をご存知でしょうか？

かわいいファッションを愛好している界隈では、天使のような無垢さを強調した水色/ 白ベースの服装が流行しており、「天使界隈」と呼ばれています。弊サークルでは、次回(2024年)五月祭にて「天使界隈」をコンセプトにお店を出店することになりました。

【キャスト・スタッフ大募集】

東京大学装い喫茶研究会です！
駒場祭でのコンセプトは🪽†天使界隈†🪽
一緒にコンカフェしませんか？
容姿年齢ジェンダー大学不問！堕天使でも可！
気になった人はどしどしDMなどでご連絡ください！ pic.twitter.com/Naqsxj4dq0
— 東京大学装い喫茶研究会@新規募集 (@ut_concafe) August 12, 2023

2023/12/25現在キャストちゃん新規募集は停止しております！新1年生の方は春までお待ちください！

前回(2023年五月祭,「地雷系」コンセプト)は市販のお洋服を各自購入しておりましたが、この度、サークルでオリジナル衣装を用意したいね、となりました！しかし、弊サークルには衣装デザインのノウハウは蓄積されておらず、独力での制作は困難を極めます。そこで

AIちゃん(ChatGPT4,Dalle-3)にやらせよう!

2023年、OpenAI社から「GPT-4V」,「DALL-E 3」がリリースされ、人々の注目を集めています。簡単に言うと、ChatGPTで画像を読み込んだり、書き出したりといったことが可能になったということです。これを使えばファッションデザインもできてしまうのでは？

今回、有識者の方々の協力を得ることで、実際に衣装デザインをAIに行わせることができました。以下は、備忘録を兼ねた紹介記事になります。

目的

今回、AI ちゃんにデザインしてもらうものは

・コンセプトカフェで用いる衣装のデザイン(衣装について説明する文章と、そのデザイン画)

ただし、衣装の条件として以下を要求します。

・「天使界隈」のコンセプトに沿っている
・学園祭で作れるほど、制作しやすい衣装である
・キャストちゃんが着たいと思うような魅力がある

作戦

目的に挙げたことを踏まえて、どのようにAIを活用するか考えます。

「天使界隈」のコンセプトに沿っている

「天使界隈」のコンセプトについて明確に伝えてあげる必要があります。GPT4ちゃんは検索機能を持つので、自分で要約してもらうことで自動化できますね。

私ががんばって作文するよりもAIに伝わりそうです。

試しに生成させてみます。

かわいい！！ブラウスを後ろ前に着ていたり、後ろと前のイラストがやや矛盾していますがいいデザインですね

学園祭で作れるほど、制作しやすい衣装である

この手のタスクを精度よく行うには、『Chain of Thought Prompting(CoT, 思考の連鎖)』が有効であることが知られていて、例題とその解答例をたくさん用意してあげるといい感じになるのですが、GPT4ちゃんは優秀なので、特別なことをするまでもなく評価してくれました。

ここで添付した画像は先ほど生成したものです。

AI ちゃんは縫製まではやってくれないので、先が危ぶまれます。

非現実的なデザインばかり提案されることを想定していたのですが、そういったことが想定よりも少なく、結果的に今回はAI ちゃんによる製作難易度の評価を用いることはありませんでした。

キャストちゃんが着たいと思うような魅力がある

これだけは人間の感性に基づいているので、自動化できません。そこで、いくつか生成された衣装の候補をサークルdiscord で公開して投票を行い、その結果を学習に反映させることにします。さらに、投票の理由や改善案も書いてもらい、これをAIに読ませることで、よりニーズに合ったデザインを作ってもらいましょう。

基本的な流れとしては"ありそう"なデザインから初めて多数決で良いとされたものに近似していくので、本職のファッションデザイナーさんが考えるような誰も見たことのないようなデザインにたどり着くことは本質的に不可能そうですが、うまくいけばある程度の水準を超えてくれることが期待できます。

生成された衣装たち

第一世代

お試しで生成させた時と全く同じプロンプトで画像を生成します。

いい感じです。DALL-E 3 ちゃんはこちらが指定した構図をおおよそ守ってくれたようです。

A なぜかブラウスが後ろ前に生成されている。すこし矛盾している服だけどリボンいっぱいでかわいい。
B 清楚そのものみたいな衣装。これ普段着にできたら生活が華やかそう。
C へそ出しと天使の羽根が印象的な個性枠。
D 配色が優れていて、一番人気そう。

サークルdiscord で投票を取り、意見を募ります。

AとDが人気ですね。AやDに似せていきましょう。

第二世代

集まった意見をプロンプトに反映させます。ここで、投票で上位になっている画像を添付しておきます。

前回の優勝デザインをAに引き継いで、Aに近いものを新たに3つ生成しました。

B フリル付きの丸襟ブラウスがジャージメイド感を出していますが、フリルの柄や絵のタッチの影響でとても上品な印象。
C ジャージドレスと虹色の靴下が印象的。靴下だけで原宿感がある(?)
D すごくよいけど、製作難易度もすごそう。

投票の結果、Dが圧勝

どんどん次の世代に進みます。

第三世代

前回の優勝デザインをAに引き継いで、Aに近いものをさらに3つ生成します。

第二世代で優勝したデザインの画像に加え、このデザインの説明もプロンプトに含めます。

AI ちゃんにどんどん生成してもらいます。

B 襟が羽根になってて先進的、すごい。
C シンプルジャージメイド！
D 天使風のメイドさんという感じ。なぜか2つ描かれています

似通ったデザインが多くなってきました。どれも魅力的で迷いますね～！

投票結果も割れております

最終結果

優勝

新しい衣装は、スカイブルーのジャージ素材を基本としたワンピーススタイルで、体のラインを強調しすぎないゆったりとしたシルエットを持ちます。袖は肩からふんわりと広がるフレアデザインで、露出を控えめにしつつも遊び心を持たせます。裾にはスカラップレースをあしらい、ソフトでロマンティックな雰囲気を演出します。
エプロンは取り外し可能で、白いベースに水色のアクセントを加えたデザイン。前面には小さなポケットを設け、フリルとレースの装飾で純粋無垢な雰囲気をさらに高めます。ウエストは調整可能なリボンで飾り、さまざまな体型にフィットします。
足元は、厚底の白いスニーカーでカジュアルさをプラスしつつ、白いふわふわしたソックスで柔らかさをキープします。ソックスには、エプロンとマッチする水色のリボンやホログラムのドロップビーズをアクセントにします。
アクセサリーとしては、天使界隈で人気のホログラムジュエルを織り交ぜた白いレースのカチューシャを用意します。ヘアスタイルに合わせて位置を変えることができるよう、バンド部分は調整可能です。
この衣装のデザインは、製作がしやすいように、日本で入手しやすい生地と材料を使用しています。また、複雑な縫製技術を避け、シンプルながらも印象的な外観を目指しています。

1位: B 6票
2位: A,C 5票

でした。

今回、投票結果が割れていることもあり、優勝デザインをそのまま採用するのではなく、人間の絵師さんに改めてイラストを描いてもらうことになりました。なのでこれがそのまま最終的なデザインになることはありませんが、おおよそこういう感じにしよう、というところまでAI ちゃんが決めてくれました。やったね。

わかったこと

特定のスキルを持った人員が不足している場合、物質に直接干渉する必要のないクリエイティブなタスク(ただし、多数決の繰り返しで求められる水準のもの)だと、ある程度はAI ちゃんで代用可能。ただし、今回決定したのは衣装のイメージであって、その後人間の絵師さんに正式なファッションデザイン画を描いてもらう予定。2023年末現在の技術だといくつか矛盾が見受けられるので、仕上げは人間がやる必要がある。
今回、「天使界隈」コンセプトの説明や、画像出力のプロンプトはAI ちゃんに書いてもらった。労力削減のためにもプロンプトはできるだけAI に書かせるとよい。
人間の感性に基づいたチューニングは3世代ではあまりよく機能したといえず、うまく行うにはかなり多くの量が必要とされそう。なんどか実験してプロンプトを決めたらそこからは質より量 で、本格的に行うならAPI を使ってチューニング等の人間からのフィードバックプロセスを自動化すべし。
懸念点として、DALL-E 3 が画像の構図を守らないことがある。「前から見た写真,後ろから見た写真」をお願いしているのに、前からみた写真のみだったり、アクセサリーやアイテムのイラストが一緒にたくさん出力されたりする。それでも、今回の実験で生成した限り(50回程度)では、「モデルに服装を着せた場合のイメージ」を必ず出力してくれたので、DALL-E 3 ちゃんも優秀なのではないかと思います。もう少し進歩してくれたらこの懸念はなくなるかも?

気になった点

英語にすると出力の質が変わる？

生成AI に投げるプロンプトは基本的に英語である方が出力の質がよくなるとされています。試しに、英語でプロンプトを与えてみます。

天使界隈にしてはセクシーすぎる

このように(感性の問題にすぎないですが)、英語でプロンプトを投げると英語文化圏っぽいイメージを返されるので、今回はすべて日本語で実験しました。あくまで日本のお客さんにアピールするのだと念押ししたらまた変わってくるのかもしれません...

おわりに

プロンプトを書いてしまえば、ファッションデザインはだいたいやってくれるようです！みなさんもAI ちゃんを活用してできることを増やしてみてはいかがでしょうか。

デザインがほぼ定まったので、2024五月祭に向けて衣装を製作していきます。本当に完成までいけるかわかりませんががんばっていこうとおもいます。東京大学五月祭にお越しの方は是非、コンセプトカフェ「終末天使ブミニエル」に立ち寄ってみてはいかがでしょうか？

今回、生成AI の活用に際して意見をくださったサークル内外問わず有識者の方々、ありがとうございました！