このコードは、シンプルな畳み込みニューラルネットワーク（SRCNN）モデルを使って、低解像度の画像を高解像度に変換する手法を示しています。SRCNNは画像超解像度技術の一つであり、低解像度画像を入力として受け取り、それを高解像度画像に変換することを目指しています。

概要

宇宙飛行士の画像をグレースケールに変換して読み込みます。
読み込んだ画像を低解像度化し、それを元の解像度にリサイズして劣化画像を作成します。
SRCNNモデルを定義し、低解像度画像を高解像度画像に変換するために学習させます。
学習済みモデルを使って低解像度画像から高解像度画像を予測し、結果を表示します。

Pythonのコード全文

import numpy as np
import matplotlib.pyplot as plt
from skimage import data, color, transform, img_as_float
import tensorflow as tf
from tensorflow.keras import layers, models

# 宇宙飛行士の画像を読み込む
image = color.rgb2gray(data.astronaut())  # グレースケールに変換
image = img_as_float(image)

# 低解像度画像を生成
low_res_image = transform.resize(image, (image.shape[0]//5, image.shape[1]//5), anti_aliasing=True)
low_res_image = transform.resize(low_res_image, image.shape, anti_aliasing=True)

# SRCNNモデルの定義
def create_srcnn_model():
    model = models.Sequential()
    model.add(layers.Conv2D(64, (9, 9), activation='relu', padding='same', input_shape=(None, None, 1)))
    model.add(layers.Conv2D(32, (1, 1), activation='relu', padding='same'))
    model.add(layers.Conv2D(1, (5, 5), activation='linear', padding='same'))
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

# データの準備
low_res_image = low_res_image.reshape(1, low_res_image.shape[0], low_res_image.shape[1], 1)
image = image.reshape(1, image.shape[0], image.shape[1], 1)

# モデルの生成と学習
srcnn = create_srcnn_model()
srcnn.fit(low_res_image, image, epochs=1000, verbose=0)

# 高解像度画像の予測
predicted = srcnn.predict(low_res_image)

# 画像の表示
plt.figure(figsize=(15, 5))
plt.subplot(1, 3, 1)
plt.title('Low Resolution')
plt.imshow(low_res_image[0, :, :, 0], cmap='gray')
plt.subplot(1, 3, 2)
plt.title('Original')
plt.imshow(image[0, :, :, 0], cmap='gray')
plt.subplot(1, 3, 3)
plt.title('Super Resolution')
plt.imshow(predicted[0, :, :, 0], cmap='gray')
plt.show()

出力結果

以下に、コードの概要と各ステップの詳細な説明を示します。

1. ライブラリのインポート

import numpy as np
import matplotlib.pyplot as plt
from skimage import data, color, transform, img_as_float
import tensorflow as tf
from tensorflow.keras import layers, models

必要なライブラリをインポートします。skimageは画像処理、tensorflowは深層学習モデルの構築に使用します。

2. 宇宙飛行士の画像を読み込む

image = color.rgb2gray(data.astronaut())  # グレースケールに変換
image = img_as_float(image)

skimageライブラリからサンプル画像として宇宙飛行士の画像を読み込み、グレースケールに変換します。
画像データを浮動小数点形式に変換します。

3. 低解像度画像を生成

low_res_image = transform.resize(image, (image.shape[0]//5, image.shape[1]//5), anti_aliasing=True)
low_res_image = transform.resize(low_res_image, image.shape, anti_aliasing=True)

画像をリサイズし、解像度を下げます（5分の1に縮小）。
低解像度にした画像を再び元のサイズにリサイズし、劣化した画像を作成します。

4. SRCNNモデルの定義

def create_srcnn_model():
    model = models.Sequential()
    model.add(layers.Conv2D(64, (9, 9), activation='relu', padding='same', input_shape=(None, None, 1)))
    model.add(layers.Conv2D(32, (1, 1), activation='relu', padding='same'))
    model.add(layers.Conv2D(1, (5, 5), activation='linear', padding='same'))
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

畳み込み層を使用してSRCNNモデルを定義します。
3つの畳み込み層を使用し、それぞれ異なるサイズのフィルターで特徴を抽出し、高解像度画像を再構築します。
最後に、Adamオプティマイザーを用いてモデルをコンパイルします。

5. データの準備

low_res_image = low_res_image.reshape(1, low_res_image.shape[0], low_res_image.shape[1], 1)
image = image.reshape(1, image.shape[0], image.shape[1], 1)

モデルが期待する形状（バッチサイズ、高さ、幅、チャネル数）に画像データをリシェイプします。

6. モデルの生成と学習

srcnn = create_srcnn_model()
srcnn.fit(low_res_image, image, epochs=1000, verbose=0)

定義したSRCNNモデルを生成します。
低解像度画像を入力、元の高解像度画像をターゲットとしてモデルを学習させます。このコードではエポック数を1000回としています。

7. 高解像度画像の予測

predicted = srcnn.predict(low_res_image)

学習済みモデルを用いて、低解像度画像から高解像度画像を予測します。

8. 画像の表示

plt.figure(figsize=(15, 5))
plt.subplot(1, 3, 1)
plt.title('Low Resolution')
plt.imshow(low_res_image[0, :, :, 0], cmap='gray')
plt.subplot(1, 3, 2)
plt.title('Original')
plt.imshow(image[0, :, :, 0], cmap='gray')
plt.subplot(1, 3, 3)
plt.title('Super Resolution')
plt.imshow(predicted[0, :, :, 0], cmap='gray')
plt.show()

3つの画像を表示します：低解像度画像、オリジナルの高解像度画像、予測された高解像度画像。
これにより、低解像度画像がSRCNNモデルによってどの程度改善されたかを視覚的に確認できます。

最終的な結果

このコードは、低解像度画像から高解像度画像を生成するSRCNNモデルの基本的な実装例です。画像超解像度の分野における入門的な例として、非常に有用です。