1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

1年半前、Powerpointを利用してYoutube投稿目的で作成した、「紙芝居」.mp4を改良する③

Posted at

音声や字幕がどれだけ完璧でも、
1枚1枚の絵が世界観を伝えなければ“紙芝居”にならない。

本来は、ぼくのお話に絵を描く人があらわれることが理想だ。
だが、現実は違う、なので、今回は、その代理にAIになってもらう。

1年半前に作成したもの:
https://youtu.be/iGRwUov3O74?si=WvRNL5jRu01_rdeQ 

最終的にできた、1年半ぶりの、改良「紙芝居」の最終形は以下:https://www.youtube.com/watch?v=sKlvAjVIirQ

これから、これを作るまでの過程をもう少し解説していく。

1年半前。ChatGPTで画像生成をしたときは、なかなかいい絵に出会えなかった。一貫性、云々、の前に「画風」が、ぼく好みのものがない。リアルはいや(目鼻ははっきりさせたくない)。かといって、抽象的すぎるのも困る。どう表現したらいいか?水墨画、影絵、白黒のキュビズム風・・・。昔の本(特に、児童文学の本の「挿絵」のようなもの?)の「挿絵」のイメージ。カラフルな絵本ではないし、漫画風ではない・・・・。何か、例をだせるといいのだけど。

ChatGPTに事前にお悩み相談:
🎨 あなたの好みに近い画風キーワード
下に挙げるのは、AI生成でもかなり狙いやすく、
「リアルすぎず・抽象すぎず・物語的な余白」が出せるタイプです
① モノトーン幻想系:「墨絵」「水墨画」「モノクロリトグラフ」「木版画風」白黒中心、線に味がある。谷内六郎、安野光雅の初期風。
② 影と余白の絵:「影絵」「切り絵」「シルエットイラスト」「光と影の物語」形だけで情感を出す。光源と影のコントラストで語る。
③ 昔の児童文学挿絵風:「昭和の挿絵」「鉛筆画」「インクドローイング」「版画風挿絵」少し線が揺れていて温かい。例えば茂田井武、酒井駒子、村山亜土。
④ 詩画・装画タイプ:「詩画」「装画」「鉛筆スケッチに水彩のにじみ」「柔らかな陰影」色が少なく、余白を生かす。静けさのある画面。
⑤ ミニマル構成系:「白地に黒い線」「余白の多い構図」「幾何的な人物」抽象寄りだが感情を引き出す。クレー、エッシャー的。
🔮 提案 もしよければ:あなたの物語の一節を1〜2行だけ選び、「この場面を、今の理想画風で出す」AIプロンプトを設計します

ChatGPTs:単純の下記のように設定した。ただ、利用せずしばらくすると過去の履歴(絵をふくむ)がきえてしまうので、普通のChatGPT でもいいかもしれない。

image.png

(1)まず全体構成
「ものほしざお」原作:こじ こうじ(『タイチ』より)
構成:KAMISHIBAI-GPT(全10シーン)
画風:やわらかな水彩風ファンタジーイラスト(柔らかな色彩と空気感)

シーン1:魔法使いの母とタイチ
Narration: 「これから、何年か前に夫と別れた、女魔法使いと、その一人息子で、タイチという名前の五歳になる男の子の魔法修行のお話がはじまります。」
Image Prompt: “illustration of a gentle witch mother and her young son Taichi in a cozy magical home, warm morning light, watercolor style”
(魔法使いの母と息子タイチが暮らすやさしい雰囲気の魔法の家、水彩画風)
BGM: Morning Sun - YouTube Audio Library(静かな朝のピアノ)

(中略)
シーン2:あわてるママ
シーン3:うっかりタイチも洗濯機へ
シーン4:ものほしざおで目を覚ます
シーン5:鳥と虫たちのやさしさ
シーン6:鳥たちの相談
シーン7:ものほしざお、空へ!
シーン8:空を飛ぶものほしざおに気づくママ
シーン9:母、タイチを迎えに

シーン10:夕日の帰り道
Narration: 「真上に高く伸びたものほしざおの上には、一羽のカラスが止まり、彼らの帰宅するシルエットが夕日に照らされて長く道に伸びていて、一枚の絵のようであった。」
Image Prompt: “illustration of a witch mother and son walking home at sunset, crow perched on a long clothesline, poetic watercolor scene”
(夕暮れの帰り道、ものほしざおを持つタイチと母、カラスが止まる情景、水彩画風)
BGM: Sunset Memories - YouTube Audio Library(しっとりとした夕暮れの音楽)

(2)個々に絵をつくっていく

ChatGPTとの事前相談を参考に最初はてさぐりでイメージをかためる

最初につかった日本語プロンプト:白黒の水墨画風。線画と影だけで描く。人物の表情(目鼻口)は描かない。やわらかな墨のにじみで形を表現する。
魔法使いの母と幼い息子が室内で向かい合っている。静かな朝の光が窓から差し込む。
ほとんどモノクロだが、効果を強めるために、ランプの灯りだけ淡い金色で彩る。
柔らかく幻想的で、静かな情感を感じる構図。
English Prompt(その英訳: DALL·E / Ideogram / midjourney/ControlNet/img2img(Stable Diffusion)等、ブラックボックス化されているWEBの先のAIにイメージを伝えることはC言語でなく「日常語」によって可能になったが、より正確に伝えるのは、英語のほうがよい):black and white ink wash painting, soft brush texture, only lines and shadows, no facial features, silhouettes defined by ink gradation.
a witch mother and her young son sitting together in a quiet magical home, morning light through a window.
mostly monochrome, but a faint warm golden glow from an oil lamp for emotional contrast.
calm, poetic, and atmospheric composition.

(例) シーン1

image.png

「白黒コミック風。線画と影だけで描く。母と幼い息子タイチが、魔法の生活を送る家の中。柔らかい朝の光が差し込む。顔の目・鼻・口は描かない。全体はモノクロ。ただし、魔法のランプの光だけを淡い金色で彩色し、温かさを強調。」

image.png

白黒コミック風(線画+影のみ)で、表情なし⇒白黒影絵風(線画+影のみ)で、表情なし、にかえてつくってみていただけますか?

image.png
水墨画風に

image.png

これ非常にいいです。気に入ってます。念のため、もうひとつ候補。この絵を、リアル風から少し崩し、キュービズム的要素をとりいれてみたらどうなりますか?

ぼく:これ(このひとつ前、水墨画風)がいいです。こういう画風にするのは、どんなプロンプトが適切でしょう?

KAMISHIBAI-GPT の発言:とても良い選択です。
この作品の雰囲気は ―― 白黒の水墨画風+影絵のような構図+一部だけ柔らかな色彩(ランプの光など)―― という、非常に繊細なトーンをもっています。
これを安定して再現するには、以下のような日本語+英語併記プロンプトが最適です👇

その後、私がChatGPTに抽象的に提案→(ChatGPTが私に日英でプロンプト提案→私がプロンプトの修正を抽象的に提案→ChatGPTが私に日英でプロンプト修正案提案)→(くりかえして、よければ)これでお願いします→画像生成

(例)🎨 シーン6 生成用プロンプト案

ぼく:棒がタイチの袖を通って背中を横切っていません。シーン4を参考にしてください。
KAMISHIBAI-GPT の発言:なるほど、完璧に理解しました。
「棒がタイチの袖を通って背中を横切る」という構造を、シーン4の正しい干され方として踏襲し、シーン6でも明確に再現します。
また、構図としては「鳥たちが相談している」状況を残しつつ、リアルな棒の通り方を明確に描写します。

🎨 シーン6(修正版・構造明確)

日本語プロンプト:白黒の水墨画風。線画と影のみで描く。人物の表情(目鼻口)は描かない。
タイチの左右の服の袖を通して、背中を横切るように一本のものほしざおが通っている。
タイチはその棒に干されており、身動きができない。
棒の上には、カラスを中心にたくさんの鳥が集まり、相談しているように見える。
背景には風に揺れる洗濯物と淡い青空。
全体はモノクロを基調とし、空にのみごく薄い青を差す。
棒の構造とタイチの干され方がはっきりわかるように。
詩的で静かながら、リアルで物理的な描写。

English Prompt:black and white ink wash painting, only shadows and outlines, no facial features.
a boy named Taichi hangs on a long clothesline, the pole passing through his sleeves and across his back, clearly visible.
he cannot move, his body slightly tilted by gravity.
above him, many birds gather on the pole, centered around a crow as if in discussion.
laundry sways gently below, and a faint blue sky glows softly in the background.
mostly monochrome with only a light touch of blue in the sky.
calm, realistic, and poetic composition.

この修正版で再生成してよいですか?

(3)https://qiita.com/tkoji3744/items/51a4612173bd212028b8
 内の、Vrewを使った方法で、mp4動画を作成した。

  基本資材 
1. 元のお話(テキスト:ものほしざお.docx)
  作成時に既にあり
2. これらChatGPTでできた10個の絵 (scene1~10.png)
  今回、新規にChatGPTにて作成

ものほしざお.docx → monohoshizao.mp3 (ElevenLabで作成)

monohoshizao.mp3 をVrewにいれて、字幕を作成

Vrew内、ここで字幕にあわせて画像を挿入

エクスポート →monohoshizao.mp4 (画像、字幕いり) へ

(参考)monohoshizao.mp4にVrew内でBGMをいれる手順

monohoshizao.mp4を「音声分析せずに」Vrewにアップロード
Vrew内、
 + make the visible invisible - Alge.mp3 
→ エクスポート → monohoshizao_BGM.mp4 (画像、字幕、BGMいり) → youtubeへ

もう少し具体的には

ステップ①:Vrewに動画を読み込むVrewを起動。
1.「新しいプロジェクトを作成」をクリック。
2.「動画ファイルを選択」から、
 👉 ナレーション入りの mp4(例:monohoshizao.mp4)を選びます。
3.読み込みが終わると、自動で音声解析(字幕生成)が始まります。
 (解析をスキップしてもOKです。BGM追加目的なら字幕不要)
 ⇒ 新しいプロジェクト作成⇒音声分析をオフにする

ステップ②:BGMを追加する
1.右下または上部メニューから、挿入⇒「BGM」アイコン、をクリック。
 (バージョンによっては「音声を追加」→「音楽」)
2.Vrew内のBGMライブラリが表示されます。
 または「私のBGM→PCからよみこむ」から、手元のMP3ファイルを読み込むこともできます。
  *範囲は、全体、あるいはスライドごとに指定できる

📝 YouTubeで使う場合、著作権フリーの音源(YouTube Audio LibraryなどでDL)を選ぶのがおすすめ。今回のmake the visible invisible - Alge.mp3はyoutube studioからいただいた。

ステップ③:音量バランスを調整する

  1. タイムライン下部に、BGMの波形(青いバー)が追加されます。
  2. そのバーをクリックして、「音量の調整」を選択。
  3. 右側パネルで「音量」を調整(5〜20%程度に)
     👉 ナレーションが主役の場合は「10%前後」が自然です。
  4. 必要なら「フェードイン/フェードアウト」も設定できます。
     (BGMトラック右クリック → フェード設定)

ステップ④:仕上げと書き出し
1.全体を再生して、ナレーションとBGMのバランスを確認。
2.問題なければ「エクスポート」→「動画として書き出し」。
*書き出し設定は:形式:mp4、解像度:そのまま(例:1920×1080)、字幕:なし(音声のみの場合)

出力した動画を、YouTubeに再アップロードすればOK!

  *YoutubeでBGMをつける方法もあるが、「音声が、今の音声(よみあげ)とかぶってしまう(音量調整しても)」「紙芝居全体の終わりと、音楽の最後があわない(音楽が短い場合、youtube内での「延長」がむずかしい)」ので、外部で事前に音楽をいれておいたあとYoutubeにアップしたほうが無難。
 いろいろなソフトがあるのだろうが、(例 CapCut, Vrew, Canva, DaVinci Resolve, iMovie(どれも無料)。あるいは、Pythonスクリプトでも自動ミックス可能)ここで紹介したように、ここでもVrewは簡便なツールとして役立った。

********************************

そして、1年半ぶりの、改良「紙芝居」の最終形は以下:

2年前との違い
 自分自身の成長によるものも結構大きい。
 だが、たとえば、2年前は「タイチの両袖から背中に、棒状のものほしざおをとおして」と、何度言っても、「ものほしざおは紐で、タイチはそこに両手でぶら下がる」という構図がかわることはなかった。できあがる絵の雰囲気も、2年前は、どこか「AIっぽかった」。
 とはいえ、今回でも、たとえば、最後の絵で「太陽をもっと大きくして」といっても、何度やっても、太陽が大きくなると、全体の絵柄までかわってしまって、太陽の大きさだけ大きくすることはできなかった。なのに、「手をつないでないママの手にせんたくものをもたせて」は、全体の雰囲気を壊さず、うまく追加できた。

終わりに
 いずれにせよ、紙芝居の絵は、可能なら、人の手で描かれたものにこしたことはない。問題は、ぼく自身が絵を描けない、あるいはぼくのお話に絵をつけてくれる絵描きさんに、なかなかめぐりあえないことである。
 結局のとこ、なぜ「地声」をわざわざ「自分のAI声」にしなくてはいけないのか(そうしようとすることで手間がずいぶん増えた)?は、「挑戦してみたかった」からであって、必然性もないし、逆に作品としては「後退」といえるかもしれないのだ。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?