MidjourneyやStable Diffusionに文章を入れれば、画像は出てくる。でも、なぜその文章から、その絵ができるのかと聞かれると、うまく答えられない。仕組みを知らないまま使っていると、思いどおりに出ないとき、何を変えればいいのかも分からない。『つくりながら学ぶ！画像生成AI 自作入門』は、文章から画像を生成するモデルを、ゼロから自分の手で作っていく本だ。
作りながら、Transformerから拡散モデルまで順に進む
原書はManningの『Build a Text-to-Image Generator (from Scratch)』で、PyTorchでのコード実装が中心になる。構成は5つのパートに分かれていて、まずパート1でアテンションとTransformerを理解し、Vision Transformerで画像を分類するところまで進む。パート2が拡散モデルの入門、パート3が拡散モデルによるテキストからの画像生成で、CLIP、潜在拡散、Stable Diffusionの解説が入る。パート4ではVQGANを経て、DALL-Eの最小限の実装に進む。章を追うごとに、ミニDALL-Eが組み上がっていく流れだ。
ディープフェイクの判定にも触れる
画像を作る側の話だけで終わらず、ResNet50のファインチューニングで、本物の画像とディープフェイクを分類する話も入っている。紹介文によると、9割を超える精度で分類できることを示している。最後のパート5は、テキストから画像への変換における新たな展開と課題の話だ。作る仕組みと、見分ける仕組みの両方に触れられる。
読んでおきたい理由
- 第1章でTransformerと拡散という、画像生成を支える2つの柱の関係を押さえられる
- 第5章からの拡散モデルの章で、画像を生成する流れをコードで追える
- 第8章のCLIPで、文章と画像の類似度を測るしくみが分かり、プロンプトが画像にどうつながるかの見通しが立つ
- 第10章のStable Diffusionの徹底解説が、普段使っているツールの中身を知る手がかりになる
- 付録にPyTorchの導入手順があり、ローカルでもColabでも、GPUでの学習環境を整えられる
まとめ
画像生成AIは、ブラックボックスのまま使っても動くが、仕組みを一度組み立ててみると、プロンプトの工夫が効く理由が見えてくる。まずは第5章の拡散モデルによる画像生成を写経して、ノイズから画像ができていく様子を手元で確かめてみてほしい。