Chapter 1: PyTorchの概要

PyTorchは、ディープラーニングモデルを構築、トレーニング、評価するための強力なライブラリです。Pythonをベースにしており、動的計算グラフを使用するため、柔軟性と直感的なデバッグが可能です。

import torch

# Tensorの作成
x = torch.tensor([1.0, 2.0, 3.0])
print("Tensor x:", x)

Chapter 2: Tensorの基本操作

TensorはPyTorchの基本データ構造で、N次元配列として機能します。NumPyの配列と似ていますが、GPUでの計算をサポートしています。

# Tensorの加算
a = torch.tensor([1, 2])
b = torch.tensor([3, 4])
c = a + b
print("Tensor a:", a)
print("Tensor b:", b)
print("Sum c:", c)

Chapter 3: 自動微分

PyTorchの自動微分機能は、requires_grad=Trueを設定したTensorに対して勾配を計算します。これはニューラルネットワークのトレーニングに不可欠です。

x = torch.tensor(1.0, requires_grad=True)
y = x ** 2
y.backward()
print("Gradient of y with respect to x:", x.grad)

Chapter 4: ニューラルネットワークの構築

PyTorchのnn.Moduleクラスを使用してニューラルネットワークを構築します。ネットワークはレイヤーで構成され、forwardメソッドでデータの流れを定義します。

import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc = nn.Linear(2, 1)  # 2入力、1出力の全結合層

    def forward(self, x):
        return self.fc(x)

model = SimpleNN()
print("Simple Neural Network Model:", model)

Chapter 5: データローダーの使用

DataLoaderは、データセットをバッチに分割し、トレーニングや評価のために効率的にデータを提供します。

from torch.utils.data import DataLoader, TensorDataset

# ダミーデータ
data = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
labels = torch.tensor([0, 1])

dataset = TensorDataset(data, labels)
dataloader = DataLoader(dataset, batch_size=2, shuffle=True)

for batch in dataloader:
    print("Batch:", batch)

Chapter 6: トレーニングループの作成

トレーニングループは、モデルのパラメータを更新するプロセスです。損失関数を最小化するために、勾配降下法を使用します。

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

for epoch in range(5):
    for inputs, targets in dataloader:
        optimizer.zero_grad()  # 勾配の初期化
        outputs = model(inputs)  # フォワードパス
        loss = criterion(outputs, targets.float().unsqueeze(1))  # 損失の計算
        loss.backward()  # バックプロパゲーション
        optimizer.step()  # パラメータの更新
        print(f"Epoch {epoch}, Loss: {loss.item()}")

Chapter 7: モデルの評価

トレーニング後、モデルの性能を評価するために、テストデータを使用します。評価中は勾配を計算しないため、torch.no_grad()を使用します。

with torch.no_grad():
    for inputs, targets in dataloader:
        outputs = model(inputs)
        print("Model outputs:", outputs)

Chapter 8: GPUでのトレーニング

PyTorchはGPUを使用して計算を加速できます。torch.deviceを使用して、モデルとデータをGPUに転送します。

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model.to(device)

for inputs, targets in dataloader:
    inputs, targets = inputs.to(device), targets.to(device)
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, targets.float().unsqueeze(1))
    loss.backward()
    optimizer.step()

Chapter 9: カスタムデータセットの作成

独自のデータセットを定義するために、torch.utils.data.Datasetをサブクラス化します。__len__と__getitem__メソッドを実装します。

from torch.utils.data import Dataset

class CustomDataset(Dataset):
    def __init__(self, data, labels):
        self.data = data
        self.labels = labels

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        return self.data[idx], self.labels[idx]

custom_dataset = CustomDataset(data, labels)
print("Custom Dataset Length:", len(custom_dataset))

Chapter 10: 転移学習

転移学習は、既存のモデルを新しいタスクに適用する手法です。事前にトレーニングされたモデルの一部を固定し、新しいデータに合わせて調整します。

from torchvision import models

pretrained_model = models.resnet18(pretrained=True)
for param in pretrained_model.parameters():
    param.requires_grad = False  # パラメータを固定

pretrained_model.fc = nn.Linear(pretrained_model.fc.in_features, 2)  # 新しい出力層
print("Modified ResNet Model:", pretrained_model)

Chapter 11: モデルの保存と読み込み

トレーニング済みモデルを保存し、後で再利用するために読み込みます。torch.saveとtorch.loadを使用します。

# モデルの保存
torch.save(model.state_dict(), 'model.pth')
print("Model saved to 'model.pth'.")

# モデルの読み込み
model.load_state_dict(torch.load('model.pth'))
print("Model loaded from 'model.pth'.")

Chapter 12: ハイパーパラメータのチューニング

ハイパーパラメータは、モデルのトレーニングに影響を与える設定です。学習率やバッチサイズを調整してモデルの性能を向上させます。

# 学習率の変更
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
print("Optimizer learning rate set to 0.001.")

Chapter 13: 畳み込みニューラルネットワーク (CNN)

CNNは、画像データの処理に特化したニューラルネットワークです。畳み込み層とプーリング層を使用して特徴を抽出します。

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1)
        self.fc1 = nn.Linear(32 * 28 * 28, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = x.view(x.size(0), -1)
        x = self.fc1(x)
        return x

cnn_model = SimpleCNN()
print("Simple CNN Model:", cnn_model)

Chapter 14: 再帰型ニューラルネットワーク (RNN)

RNNは、時系列データや自然言語処理に適したネットワークです。シーケンスデータを処理するために内部状態を保持します。

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        h0 = torch.zeros(1, x.size(0), hidden_size)
        out, _ = self.rnn(x, h0)
        out = self.fc(out[:, -1, :])
        return out

rnn_model = SimpleRNN(input_size=10, hidden_size=20, output_size=1)
print("Simple RNN Model:", rnn_model)

Chapter 15: 自然言語処理 (NLP) の基礎

PyTorchを使用して基本的なNLPタスクを実行します。テキストデータをトークン化し、埋め込み層を使用してベクトル化します。

# トークン化と埋め込み
from torchtext.data.utils import get_tokenizer
tokenizer = get_tokenizer('basic_english')
tokens = tokenizer("Hello PyTorch")
print("Tokens:", tokens)

Chapter 16: PyTorchのデバッグ

PyTorchでのデバッグ方法を学びます。printステートメントを使用して、モデルの出力や中間計算を確認します。

# デバッグ用のprintステートメント
print(f"Input: {inputs}, Output: {outputs}")

Chapter 17: PyTorchの最適化

モデルの最適化手法を説明します。異なるオプティマイザーを使用して、トレーニングプロセスを改善します。

# Adamオプティマイザーの使用
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
print("Using Adam optimizer with learning rate 0.001.")

Chapter 18: PyTorchのベストプラクティス

PyTorchを使用する際のベストプラクティスを紹介します。コードの可読性と再利用性を向上させるための方法を学びます。

# モデルのトレーニングと評価を分離する
def train(model, dataloader, criterion, optimizer):
    model.train()
    for inputs, targets in dataloader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step()

def evaluate(model, dataloader, criterion):
    model.eval()
    total_loss = 0
    with torch.no_grad():
        for inputs, targets in dataloader:
            outputs = model(inputs)
            loss = criterion(outputs, targets)
            total_loss += loss.item()
    return total_loss / len(dataloader)

Chapter 19: PyTorchの最新機能

PyTorchの最新機能を紹介します。torch.jitを使用してモデルをスクリプト化し、パフォーマンスを向上させます。

# torch.jitを使用したモデルのスクリプト化
scripted_model = torch.jit.script(model)
print("Scripted Model:", scripted_model)

Chapter 20: 実際のユースケース

PyTorchを使用した実際のユースケースを紹介します。ここでは、MNISTデータセットを使用して画像分類モデルを構築します。

from torchvision import datasets, transforms

# データセットの準備
transform = transforms.Compose([transforms.ToTensor()])
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

# モデルの定義
class MNISTModel(nn.Module):
    def __init__(self):
        super(MNISTModel, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3)
        self.fc1 = nn.Linear(32 * 26 * 26, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = x.view(x.size(0), -1)
        x = self.fc1(x)
        return x

# モデルのトレーニング
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = MNISTModel().to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()

for epoch in range(10):
    for inputs, targets in train_loader:
        inputs, targets = inputs.to(device), targets.to(device)
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step()
        print(f"Epoch {epoch}, Loss: {loss.item()}")