はじめに
このガイドは、PyTorch入門 全10回を読み進めるための道案内です。
このシリーズは、PyTorchのAPIを順番に暗記するためのものではありません。中心にあるのは、深層学習のコードを次の流れとして読めるようになることです。
データ(画像、テキスト、数値などの生データ)
-> Dataset(1サンプルをTensorへ変換)
-> DataLoader(複数サンプルをbatchへまとめる)
-> モデル(nn.Module)
-> 出力(logitsや予測値)
-> 損失関数
-> backward(勾配計算)
-> optimizer(パラメータ更新)
-> 評価、保存、改善
深層学習では、モデル名や手法名だけを覚えても、実際のコードは読めるようになりません。重要なのは、どのTensorがどのshapeで流れ、どの値域を持ち、どの損失関数に渡され、どのパラメータが更新されるのかを追うことです。
この流れの各段階は、この10回の中でそれぞれ詳しく扱っています。読んでいて「これはどの回の話だったか」を確認したくなったら、次の対応表から該当する回に戻ってください。
| 流れの段階 | 主に扱う回 |
|---|---|
| Tensor、autogradの基礎(前提知識) | 第2回 |
| データ、Dataset、DataLoader | 第3回 |
モデル(nn.Module)の組み立て |
第4回 |
| 損失関数の選び方 | 第5回 |
| optimizerと学習率 | 第5回、第6回 |
| 監視・可視化(TensorBoard、Hook、Grad-CAM) | 第6回 |
| 正則化・Normalization | 第7回 |
| 保存・GPU・ファインチューニング | 第8回 |
| 代表タスクへの応用(CNN/GAN/RNN) | 第9回、第10回 |
この10回では、まず環境構築とTensorの基礎から入り、データ処理、モデル定義、損失関数、最適化、学習率、監視、正則化、Normalization、モデル保存、GPU、ファインチューニングへ進みます。最後に、CNNを使う画像タスク、GANによる生成、RNNによる系列処理という代表的な応用へ広げます。
このシリーズの考え方
このシリーズの軸は、大きく分けると次の5つです。
- データをTensorとして正しく扱う
- モデルを
nn.Moduleとして組み立てる - 出力とtargetに合った損失関数を選ぶ
- optimizerでパラメータを更新する
- 訓練の様子を観察し、保存し、改善する
深層学習の実装では、次のような小さな不一致が大きな不具合になります。
- 画像のshapeが
(N, H, W, C)のままConv2dへ入っている -
CrossEntropyLossにSoftmax後の確率を渡している -
BCEWithLogitsLossのtargetが整数型になっている - CPU TensorとCUDA Tensorが混ざっている
-
model.eval()だけで勾配計算も止まると思っている - DropoutやBatchNormの訓練時・評価時の違いを見落としている
- RNNでpadding位置を最後の時刻として使っている
- GANで
fake.detach()の位置を間違えている
そのため、このシリーズでは「関数名を紹介する」よりも、shape、dtype、device、値域、logit、target、勾配、モード切り替えを繰り返し確認する構成にしています。
全10回の読み方
| 回 | 主題 | 何が読めるようになるか |
|---|---|---|
| 第1回 | 環境構築とインストール | Python、仮想環境、CPU/GPU版、CUDA、IDE設定の切り分け |
| 第2回 | Tensor、autograd、回帰 | Tensor操作、計算グラフ、backward()、線形回帰、二値分類 |
| 第3回 | Dataset、DataLoader、画像前処理 | 画像ファイルをDatasetにし、DataLoaderとtransformsでbatch化する流れ |
| 第4回 |
nn.Module、CNN、層 |
モデルを部品として組み、Conv2dやLinearのshapeを追う力 |
| 第5回 | 初期化、損失関数、optimizer | lossとtargetの対応、SGD/AdamW、勾配更新、checkpointの基礎 |
| 第6回 | scheduler、TensorBoard、Hook、Grad-CAM | 学習率の制御、ログ記録、中間特徴・勾配の観察 |
| 第7回 | 正則化、Weight Decay、Dropout、Normalization | 過学習と訓練不安定を抑える代表的な方法 |
| 第8回 | 保存、ファインチューニング、GPU、エラー | state_dict、checkpoint、転移学習、device、AMP、DDP、エラー対応 |
| 第9回 | 画像分類、セグメンテーション、物体検出 | CNN系の代表タスクで、出力Tensorと評価方法を理解する |
| 第10回 | GANとRNN | 生成モデルと系列モデルで、勾配の流れと系列shapeを理解する |
各記事はこちらです。
- PyTorch入門 第1回:環境構築とインストールをきちんと済ませる
- PyTorch入門 第2回:Tensor、autograd、線形回帰とロジスティック回帰
- PyTorch入門 第3回:Dataset、DataLoader、画像前処理とデータ拡張
- PyTorch入門 第4回:nn.Module、モデルの組み立て、畳み込み層と活性化関数
- PyTorch入門 第5回:重み初期化、損失関数、最適化手法で学習を安定させる
- PyTorch入門 第6回:学習率スケジューラ、TensorBoard、HookとGrad-CAMで訓練を観察する
- PyTorch入門 第7回:正則化、Weight Decay、Dropout、Normalizationで過学習を抑える
- PyTorch入門 第8回:モデル保存、ファインチューニング、GPUとよくあるエラー
- PyTorch入門 第9回:画像分類、セグメンテーション、物体検出をまとめて理解する
- PyTorch入門 第10回:GANとRNNをまとめて理解する
データから始める
深層学習のコードは、モデルから始まるように見えて、実際にはデータから始まります。
データについて最初に確認するべきことは、次の通りです。
- どこから読み込むのか
- どの形式なのか
- labelやtargetはどう定義されているのか
- train、valid、testはどう分けるのか
- Tensorにしたときのshapeは何か
- 値域はどうなっているか
- batchにまとめられる形になっているか
第3回では、画像分類の例として、画像フォルダを Dataset にし、DataLoader でbatch化し、torchvision.transforms でResize、Tensor化、Normalize、データ拡張を行う流れを扱いました。
ここで重要なのは、Dataset、DataLoader、transform の役割を分けることです。
| 要素 | 役割 |
|---|---|
| Dataset | 1つのindexから1サンプルを返す |
| DataLoader | indexの順序、batch化、worker読み込みを扱う |
| transform | 入力画像やmaskをモデルに渡せるTensorへ変換する |
| collate_fn | サンプルのリストをbatchへまとめる |
分類では画像サイズをそろえてTensorをstackできます。一方、物体検出では画像ごとにbox数が違うため、無理にstackせずlistとして返す collate_fn が必要になります。第9回で扱った検出・セグメンテーションの話は、このデータ処理の延長です。
Tensorとautogradを軸に読む
第2回のTensorとautogradは、シリーズ全体の土台です。
PyTorchでは、データ、重み、出力、損失、勾配がすべてTensorとして扱われます。Tensorを見るときは、まず次の属性を確認します。
x.shape
x.dtype
x.device
x.requires_grad
autograd では、前向き計算の履歴から計算グラフが作られ、loss.backward() によって葉Tensorの .grad に勾配が累積されます。
訓練ループの基本形は、ほとんどのモデルで変わりません。
optimizer.zero_grad(set_to_none=True)
logits = model(inputs)
loss = criterion(logits, targets)
loss.backward()
optimizer.step()
CNNでも、RNNでも、GANでも、Transformerでも、細部は違ってもこの骨格は残ります。違うのは、入力のshape、出力の意味、損失関数、更新対象、評価方法です。
モデルを nn.Module として考える
第4回では、nn.Module を中心にモデルの作り方を扱いました。
nn.Module の強みは、層をPythonの属性として登録すると、パラメータ、Buffer、子モジュールがPyTorchから見える形で管理されることです。
class Model(nn.Module):
def __init__(self):
super().__init__()
self.layer = nn.Linear(10, 2)
def forward(self, x):
return self.layer(x)
この登録によって、次の操作が自然に動きます。
model.parameters()model.state_dict()model.to(device)model.train()model.eval()- Hookの登録
CNNでは、Conv2d、BatchNorm、ReLU、Pooling、Flatten、Linearを組み合わせて、画像Tensorをlogitsへ変換します。第4回の中心は、層の名前ではなく、Tensorのshapeがどのように変わるかを追うことです。
(N, 3, 224, 224)
-> Conv2d
-> (N, 32, 224, 224)
-> MaxPool2d
-> (N, 32, 112, 112)
-> ...
-> Flatten
-> Linear
-> (N, num_classes)
このshapeを追う力は、後のセグメンテーション、検出、GAN、RNNでもそのまま使います。
損失関数は出力とtargetで決まる
第5回では、損失関数を詳しく扱いました。
損失関数を選ぶときは、タスク名ではなく、モデル出力とtargetを見るのが基本です。
| タスク | モデル出力 | target | 損失関数 |
|---|---|---|---|
| 単一ラベル多クラス分類 | logits (N, C)
|
long クラスID (N,)
|
CrossEntropyLoss |
| 二値分類 | logits (N, 1)
|
float 0/1 | BCEWithLogitsLoss |
| 多ラベル分類 | logits (N, C)
|
float multi-hot (N, C)
|
BCEWithLogitsLoss |
| 回帰 | 連続値 | 連続値 |
MSELoss、L1Loss、HuberLoss
|
| セグメンテーション | logits (N, C, H, W)
|
long mask (N, H, W)
|
CrossEntropyLoss |
| 二値mask | logits (N, 1, H, W)
|
float mask | BCEWithLogitsLoss |
典型的なミスは、CrossEntropyLoss にSoftmax後の確率を渡すことです。CrossEntropyLoss は内部でlog-softmax相当の処理を行うため、入力には生のlogitsを渡します。
同じように、BCEWithLogitsLoss へはSigmoid前のlogitsを渡します。確率を表示したいときだけ torch.sigmoid(logits) を使います。
GANでもこの考え方は重要です。Discriminatorがlogitsを返すなら BCEWithLogitsLoss、Sigmoid後の確率を返す設計なら BCELoss です。どちらを使うかは、モデルの最後が何を返すかで決まります。
optimizerと学習率を見る
optimizerは、loss.backward() で作られた勾配を使ってパラメータを更新します。optimizer自身が勾配を作るわけではありません。
代表的なoptimizerには、SGD、Momentum、Adam、AdamWなどがあります。
| optimizer | 特徴 |
|---|---|
| SGD | シンプルで挙動を理解しやすい |
| SGD + Momentum | 過去の勾配方向を少し覚えて進む |
| Adam | 一階・二階モーメントでパラメータごとの更新量を調整する |
| AdamW | Weight Decayを勾配から分離して扱う |
学習率は、訓練の安定性に非常に強く効きます。大きすぎるとlossが発散し、小さすぎると学習が進みません。第5回と第6回では、学習率を固定するだけでなく、schedulerで変える方法も扱いました。
大きめの学習率
-> 早く進むが、振動や発散が起こりやすい
小さめの学習率
-> 安定しやすいが、収束が遅い
scheduler
-> 訓練の段階に応じて学習率を変える
StepLR、MultiStepLR、ExponentialLR、CosineAnnealingLR、ReduceLROnPlateau などは、それぞれ呼び出すタイミングが重要です。通常は optimizer.step() の後に scheduler.step() を呼びますが、ReduceLROnPlateau は検証指標を渡して呼びます。
監視、Hook、可視化で訓練を読む
訓練は、ただ回せばよいものではありません。loss、accuracy、学習率、勾配、重み分布、入力画像、予測結果を観察することで、どこが壊れているのかを早く見つけられます。
第6回では、TensorBoard、Hook、Grad-CAMを扱いました。
TensorBoardでは、次のような情報を記録できます。
- training loss
- validation loss
- accuracyやF1
- learning rate
- weight histogram
- gradient histogram
- 入力画像
- 予測mask
- Grad-CAM heatmap
Hookは、モデル本体を書き換えずに中間出力や勾配を観察する仕組みです。
forward_pre_hook
-> forward
-> forward_hook
-> backward
-> Tensor gradient hook / full backward hook
Hookを使うときは、保存するTensorを detach() すること、使い終わったら handle.remove() で外すことが大切です。Hookは便利ですが、外し忘れると同じ処理が何度も呼ばれたり、計算グラフを余計に保持したりします。
Grad-CAMは、画像分類モデルがどの領域を手がかりにしたかを近似的に可視化する方法です。ただし、熱図は因果説明でも正解maskでもありません。遮蔽テストや別画像での安定性確認と組み合わせて使います。
正則化とNormalizationで汎化を考える
第7回では、Weight Decay、Dropout、BatchNorm、LayerNorm、InstanceNorm、GroupNormを扱いました。
これらはすべて「過学習対策」としてまとめられがちですが、実際の役割は違います。
| 方法 | 主に効く場所 | 目的 |
|---|---|---|
| L1/L2正則化 | パラメータ | 大きすぎる重みを抑える |
| Weight Decay | 更新式 | 更新のたびに重みを少し縮める |
| Dropout | 活性値 | 訓練時にランダムな欠落を入れる |
| BatchNorm | batch統計量 | 特徴の平均・分散を整える |
| LayerNorm | サンプル内の末尾次元 | batch sizeに依存せず特徴を整える |
| InstanceNorm | サンプル・チャンネルごとの空間 | 画像生成やスタイル変換でよく使う |
| GroupNorm | チャンネルをグループ化 | 小さいbatchのCNNで使いやすい |
BatchNormは train() と eval() で挙動が変わります。Dropoutも評価時には恒等写像になります。model.eval() はこれらの層のモードを切り替えますが、勾配計算を止めるものではありません。純粋な推論では torch.inference_mode() も使います。
この区別は、第8回の推論・保存・ファインチューニングでも重要になります。
保存、再開、ファインチューニング、GPU
第8回では、訓練したモデルをどう扱うかを整理しました。
深層学習では、モデルを定義して訓練するだけでなく、次の操作が必要になります。
-
state_dictを保存する - checkpointとしてmodel、optimizer、schedulerをまとめて保存する
- checkpointから訓練を再開する
- 事前学習済み重みを読み込む
- 最後の分類headを差し替える
- backboneを凍結する
- layerごとに学習率を変える
- CPU/GPU間でTensorとmodelをそろえる
- AMPやDDPの基本を理解する
実践では、ゼロから大きなモデルを訓練するより、事前学習済みモデルを読み込み、自分のデータに合わせて微調整する場面が多くあります。
事前学習済みbackbone
-> headを差し替える
-> 必要ならbackboneを凍結
-> 小さめの学習率でfine-tuning
-> validationで確認
-> checkpoint保存
このときも、入力前処理、クラス順、targetのshape、model.train() / model.eval()、deviceの一致を確認します。
CNNで扱う代表タスク
第9回では、CNNを中心に画像分類、セグメンテーション、物体検出を扱いました。
同じ画像を入力していても、タスクによって出力は大きく違います。
| タスク | 出力 | 後処理 |
|---|---|---|
| 画像分類 |
(N, C) logits |
argmax、top-k、class name |
| マルチラベル分類 |
(N, C) logits |
classごとのSigmoidとthreshold |
| セグメンテーション |
(N, C, H, W) logits |
argmax(dim=1) でmask化 |
| 二値mask |
(N, 1, H, W) logits |
Sigmoid + threshold |
| 物体検出 | boxes、labels、scores | score threshold、NMS |
この回のポイントは、モデル名よりも出力Tensorの意味を読むことです。ResNet、DeepLab、Faster R-CNNは構造が違いますが、どれも最終的にはTensorを返します。そのTensorをどう解釈するかが、タスク理解の中心です。
物体検出では、通常の分類と違って、box座標、IoU、NMS、AP/mAPを扱います。Faster R-CNNでは、訓練時はloss辞書を返し、推論時はprediction listを返します。このように、train() と eval() で戻り値が変わるモデルもあるため、公式ドキュメントと実際の出力確認が重要です。
GANとRNNで広がる考え方
第10回では、GANとRNNを扱いました。
GANでは、GeneratorとDiscriminatorを別々の目的で交互に更新します。
D step:
real -> D -> target 1
fake.detach -> D -> target 0
update D
G step:
z -> G -> D -> target 1
update G
ここでの本質は、fake.detach() によって勾配をどこで止めるかです。同じfake画像でも、Discriminator更新時にはGeneratorへ勾配を戻さず、Generator更新時にはDiscriminatorを通してGeneratorへ勾配を戻します。
RNNでは、同じパラメータを時間方向に繰り返し使い、hidden stateを受け渡します。
x1 -> cell -> h1
x2 -> cell -> h2
x3 -> cell -> h3
batch_first=True は入力とoutputのshapeには効きますが、hidden stateのshapeは (D * num_layers, N, H) のままです。paddingされた系列では、pack_padded_sequence を使ってpadding部分の計算を避けることもあります。
第10回のGANとRNNは一見別々の話ですが、どちらも「計算グラフをどう流すか」を強く意識する点でつながっています。
このシリーズでは深く扱っていない重要テーマ
この10回でPyTorchの基礎から代表的な画像・生成・系列タスクまでを扱いました。ただし、深層学習全体から見ると、まだ多くの重要テーマがあります。ここから先に学ぶとよい代表領域を整理します。
YOLO系の物体検出
第9回ではFaster R-CNNを中心にTwo-stage検出器を扱いました。一方、実務のリアルタイム検出ではYOLO系のモデルも広く使われます。
YOLO系は、画像全体から密にboxとクラスを予測するOne-stage検出器の代表です。Faster R-CNNより構造が直接的で、推論速度を重視する場面でよく使われます。
学ぶときの観点は次の通りです。
- anchor-basedとanchor-freeの違い
- box回帰の表現
- NMSやconfidence threshold
- mAP、AP50、AP75
- 入力解像度と速度・精度のtrade-off
- データアノテーション形式
YOLOは2015年の初代論文以降、anchor-basedの改良、CSPDarknetなどbackboneの強化、YOLOXやYOLOv8以降のanchor-free化、NMSを不要にするEnd-to-Endの試みまで、継続的に更新され続けているモデル群です。バージョンごとに構造や学習テクニックが変わるため、使うときはバージョンと実装元を明確にして参照します。
参考リンク:
- You Only Look Once(初代YOLO論文): https://arxiv.org/abs/1506.02640
- Ultralytics YOLO Docs: https://docs.ultralytics.com/
- Papers with Code Object Detection: https://paperswithcode.com/task/object-detection
TransformerとAttention
RNNの次に必ず学びたいのがTransformerです。自然言語処理だけでなく、画像、音声、時系列、マルチモーダルモデルでも中心的な構造になっています。
Transformerの中心は、系列内の要素同士の関係をattentionで直接扱うことです。
token embeddings
-> positional information
-> self-attention
-> MLP
-> residual connection + normalization
-> task head
RNNが時間方向に順番に情報を渡すのに対して、Transformerはattentionで広い範囲を同時に参照します。そのため、長距離依存を扱いやすく、訓練時の並列性も高くなります。一方で、系列長が長くなると計算量とメモリが重くなります。
学ぶときの観点は次の通りです。
- Query、Key、Value
- scaled dot-product attention
- multi-head attention
- positional encoding / positional embedding
- residual connection
- LayerNorm / RMSNorm
- encoder、decoder、decoder-only
- causal mask
- pretrainingとfine-tuning
encoder-onlyの代表であるBERTと、decoder-onlyの流れを汲むGPT系列を比べると、同じTransformerでも「双方向に文脈を読むか」「一方向に生成するか」という設計思想の違いが見えてきます。この違いは、そのままpretraining objective(masked language modelか、next token predictionか)の違いにもつながっています。
参考リンク:
- Attention Is All You Need: https://arxiv.org/abs/1706.03762
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: https://arxiv.org/abs/1810.04805
- Hugging Face Course: https://huggingface.co/learn
- Hugging Face Transformers Docs: https://huggingface.co/docs/transformers
- Stanford CS224N: https://web.stanford.edu/class/cs224n/
Vision Transformerと画像基盤モデル
CNNは画像処理の基本ですが、画像分野でもTransformerや大規模事前学習モデルが重要になっています。
代表的な流れには、次のようなものがあります。
- Vision Transformer
- Swin Transformer
- CLIPのような画像・テキスト対照学習
- DINO系の自己教師あり学習
- MAEのようなmasked image modeling
- Segment Anythingのような汎用セグメンテーションモデル
- diffusion modelによる画像生成
第9回で扱った画像分類、セグメンテーション、検出の基礎を持っていると、これらのモデルも「入力、backbone、head、loss、pretraining objective」として整理しやすくなります。
参考リンク:
- CLIP: https://arxiv.org/abs/2103.00020
- Vision Transformer: https://arxiv.org/abs/2010.11929
- DINO: https://arxiv.org/abs/2104.14294
- Masked Autoencoders: https://arxiv.org/abs/2111.06377
- Segment Anything: https://segment-anything.com/
Diffusion Modelと生成AI
第10回ではGANを扱いましたが、画像生成やマルチモーダル生成ではdiffusion modelも非常に重要です。
Diffusion modelは、データに少しずつノイズを加える過程と、そのノイズを取り除く過程を学習する生成モデルです。
画像 x0
-> ノイズを少しずつ足す
-> ほぼノイズ xT
-> モデルが逆向きにdenoiseする
-> 画像を生成する
GANと比べると、訓練は安定しやすい一方、生成に複数stepが必要になることがあります。近年は高速化、条件付き生成、画像編集、動画生成、3D生成などへ広がっています。
Stable Diffusionのような広く使われている実装は、画像そのものではなく圧縮された潜在表現(latent space)でdiffusion processを行うことで、必要な計算量を大きく減らしています。テキスト条件を与えるcross-attention層を組み合わせることで、text-to-imageのような条件付き生成も可能になります。
参考リンク:
- Denoising Diffusion Probabilistic Models: https://arxiv.org/abs/2006.11239
- High-Resolution Image Synthesis with Latent Diffusion Models(Stable Diffusionの基礎論文): https://arxiv.org/abs/2112.10752
- Hugging Face Diffusers: https://huggingface.co/docs/diffusers
時系列基盤モデル
時系列予測では、ARIMAや状態空間モデル、RNN、Temporal CNN、Transformerなどが使われてきました。近年は、多数の時系列データで事前学習し、別の時系列タスクへ転用する基盤モデル的な流れも出ています。
学ぶときの観点は次の通りです。
- 予測 horizon
- 過去 window length
- 単変量と多変量
- covariatesの扱い
- 欠損値、外れ値、カレンダー特徴
- 確率予測とprediction interval
- backtesting
- 時系列のleakage
Transformer系の長期予測モデル
RNNの次の世代として、Transformerを時系列向けに改良したモデルが多数提案されています。とくに、系列長が長い長期予測(long-term forecasting)で発展してきました。
| モデル | 要点 |
|---|---|
| Informer | ProbSparse self-attentionで計算量を抑え、生成的なデコーダで長いhorizonを一括予測する |
| Autoformer | 系列分解(trendとseasonal)をモデル内部に組み込み、Auto-Correlationで周期的な依存を捉える |
| FEDformer | 周波数領域(フーリエ変換やwavelet変換)でattention相当の処理を行い、計算量を線形に近づける |
| PatchTST | 系列をパッチ(部分系列)に分けてtoken化し、チャンネルを独立に扱うことで長期予測を安定させる |
| TimesNet | 1次元の時系列を周期にもとづいて2次元Tensorへ変換し、2D convで時間変化を捉える |
| iTransformer | 時刻方向ではなく変数(変量)方向をtokenとして扱う、いわば「逆転」させたTransformer |
興味深いことに、「Are Transformers Effective for Time Series Forecasting?」という論文は、単純な線形モデル(DLinear、NLinear)が複数のベンチマークでTransformer系モデルを上回ることを示しました。Transformerを使うこと自体が目的ではなく、タスクの性質とモデルの前提を合わせることが重要だという教訓につながります。
参考リンク:
- Informer: https://arxiv.org/abs/2012.07436
- Autoformer: https://arxiv.org/abs/2106.13008
- FEDformer: https://arxiv.org/abs/2201.12740
- PatchTST: https://arxiv.org/abs/2211.14730
- TimesNet: https://arxiv.org/abs/2210.02186
- iTransformer: https://arxiv.org/abs/2310.06625
- Are Transformers Effective for Time Series Forecasting?(DLinear/NLinear): https://arxiv.org/abs/2205.13504
分解型・階層型・確率予測モデル
Transformer以外にも、時系列の構造(trend、seasonality、階層構造)を明示的に扱うモデルや、点予測ではなく確率分布を出力するモデルがあります。
- N-BEATS:全結合層の残差ブロックを積み重ね、解釈可能なtrend/seasonality成分を出力できる
- N-HiTS:N-BEATSを拡張し、階層的な補間とマルチレートのsamplingで長いhorizonを効率的に扱う
- DeepAR:自己回帰型のRNNで、点ではなく確率分布(likelihood)を出力する定番の確率予測モデル
- Temporal Fusion Transformer(TFT):静的な特徴、既知の将来値、過去のみ観測できる変数を分けて扱い、interpretableなmulti-horizon予測を行う
参考リンク:
- N-BEATS: https://arxiv.org/abs/1905.10437
- N-HiTS: https://arxiv.org/abs/2201.12886
- DeepAR: https://arxiv.org/abs/1704.04110
- Temporal Fusion Transformers: https://arxiv.org/abs/1912.09363
時系列基盤モデル(zero-shot/few-shot)
大量の時系列データで事前学習し、見たことのないデータセットにもzero-shotやfew-shotで適用できるモデルも増えています。
- Chronos:時系列の値をtoken化し、言語モデルと同じアーキテクチャで学習する
- TimesFM:Googleが公開している時系列基盤モデル
- MOMENT:予測、分類、異常検知、補完など複数タスクに対応する時系列基盤モデル
- Darts:統計モデルから深層学習モデルまで、多数の時系列モデルを共通のAPIで扱えるPythonライブラリ
参考リンク:
- Chronos: https://arxiv.org/abs/2403.07815
- TimesFM: https://github.com/google-research/timesfm
- MOMENT: https://github.com/moment-timeseries-foundation-model/moment
- Darts: https://unit8co.github.io/darts/
電力需要(負荷)予測
電力需要予測(load forecasting)は、時系列予測の中でも歴史が長く、実務での要求がはっきりしている領域です。電力は基本的に貯蔵できないため、需要と供給をほぼ同時に一致させる必要があり、需要予測の精度がそのまま系統運用や発電計画に直結します。
学ぶときの観点は次の通りです。
- 予測ホライゾン:短期(時間〜日単位、需給運用向け)、中期(週〜月単位、保守・燃料計画向け)、長期(年単位、設備計画向け)
- 主な説明変数:気温(冷房・暖房需要と非線形に関係する)、曜日・祝日・季節などのカレンダー特徴、過去の需要(自己回帰成分)
- 階層構造:系統全体の需要と、エリアやフィーダー、スマートメーターごとの需要は別々に予測でき、それらを整合させるreconciliationが必要になる
- 点予測だけでなく、quantile regressionなどによる確率的負荷予測(probabilistic load forecasting)も重要性を増している
Global Energy Forecasting Competition(GEFCom)は、この分野の代表的なベンチマークです。
参考リンク:
- Hong & Fan, "Probabilistic electric load forecasting: A tutorial review": https://doi.org/10.1016/j.ijforecast.2015.11.011
- Hong et al., "Probabilistic energy forecasting: Global Energy Forecasting Competition 2014 and beyond": https://doi.org/10.1016/j.ijforecast.2016.02.001
電力価格(スポット価格)予測
電力価格予測、とくに翌日(day-ahead)市場のスポット価格予測は、電力需要予測と隣接しながらも別の難しさを持つ領域です。電力は貯蔵できないという特性から、需給が急に逼迫すると価格が跳ね上がり(price spike)、逆に再生可能エネルギーの出力が需要を上回ると価格がゼロや負になることもあります。
学ぶときの観点は次の通りです。
- 主な説明変数:需要予測、風力や太陽光といった再生可能エネルギーの発電予測(merit order効果を通じて価格に大きく影響する)、燃料価格、連系線の空き容量
- 価格特有の性質:強い季節性(日次・週次・年次)、平均回帰、price spike、負の価格
- 深層学習の適用:LSTMやCNN-LSTMのハイブリッド、DeepARやTFTのような確率予測モデル、近年はTransformer系モデルの適用例も増えている
Lagoらのレビュー論文は、深層学習を含む手法を横断的に比較し、再現性のためのオープンなベンチマークツールも公開しています。
参考リンク:
- Weron, "Electricity price forecasting: A review of the state-of-the-art with a look into the future": https://doi.org/10.1016/j.ijforecast.2014.08.008
- Lago et al., "Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark": https://doi.org/10.1016/j.apenergy.2021.116983
- epftoolbox(電力価格予測のベンチマークライブラリ): https://github.com/jeslago/epftoolbox
日本の電力データで学ぶ
実際に手を動かして電力需要・価格予測を試したい場合、日本国内にも公開データや調査資料があります。
| 組織 | 内容 |
|---|---|
| 資源エネルギー庁 | エネルギー政策、エネルギー白書、エネルギー動向などの統計・政策資料 |
| 電力広域的運営推進機関(OCCTO) | 需給検証報告書、広域予備率など系統運用に関する情報 |
| 各電力会社の「でんき予報」 | 翌日までの需要予測と実績を公開(例:東京電力) |
| 日本卸電力取引所(JEPX) | スポット市場の約定価格・数量などの市場データ |
| 電力中央研究所(CRIEPI) | 電力需要・価格・系統に関する研究レポート |
| 日本エネルギー経済研究所(IEEJ) | エネルギー需給・市場に関する調査・分析レポート |
参考リンク:
- 資源エネルギー庁: https://www.enecho.meti.go.jp/
- 電力広域的運営推進機関(OCCTO): https://www.occto.or.jp/
- 東京電力 でんき予報: https://www.tepco.co.jp/forecast/
- 日本卸電力取引所(JEPX)スポット市場データ: https://www.jepx.jp/electricpower/market-data/spot/
- 電力中央研究所(CRIEPI): https://criepi.denken.or.jp/
- 日本エネルギー経済研究所(IEEJ): https://eneken.ieej.or.jp/
推薦システムの深層学習
推薦システムは、通常の画像分類や自然言語処理とは少し違う難しさがあります。ユーザー、アイテム、行動履歴、文脈、時間、露出バイアス、フィードバックループが関係するためです。
代表的な方向性は次の通りです。
| 領域 | 代表的な考え方 |
|---|---|
| 協調フィルタリング | user/item embedding、matrix factorization |
| Two-tower retrieval | user towerとitem towerで候補を高速検索する |
| CTR予測 | Wide & Deep、DeepFM、xDeepFM、DCNなど |
| sequential recommendation | SASRec、BERT4Rec、Transformer系 |
| graph recommendation | LightGCN、PinSageなど |
| LLM + recommender | テキスト理解、対話推薦、説明生成、cold-start補助 |
推薦では、モデル精度だけでなく、候補生成、ランキング、多様性、新規性、遅延、A/B test、ビジネス指標も重要です。
参考リンク:
- Microsoft Recommenders: https://github.com/recommenders-team/recommenders
- RecBole: https://recbole.io/
- NVIDIA Merlin: https://github.com/NVIDIA-Merlin/Merlin
- Papers with Code Recommendation Systems: https://paperswithcode.com/task/recommendation-systems
Graph Neural Network
グラフ構造を持つデータでは、GNNも重要です。SNS、推薦、分子、知識グラフ、交通ネットワークなどで使われます。
学ぶときの観点は次の通りです。
- node、edge、graph-level task
- message passing
- GCN、GraphSAGE、GAT
- neighbor sampling
- oversmoothing
- heterogenous graph
参考リンク:
- PyTorch Geometric: https://pytorch-geometric.readthedocs.io/
- Deep Graph Library: https://www.dgl.ai/
強化学習とエージェント
強化学習は、教師あり学習のように固定された正解ラベルを直接学ぶのではなく、環境との相互作用から方策を学びます。
重要な概念は、state、action、reward、policy、value function、explorationです。深層強化学習では、DQN、Policy Gradient、Actor-Critic、PPO、SACなどが代表的です。
近年は、大規模言語モデルを使ったツール利用エージェント、計画、自己反省、環境との対話も広がっています。ただし、通常の業務自動化では、強化学習そのものよりも、検索、RAG、ワークフロー設計、評価データ作成のほうが先に効くことも多いです。
参考リンク:
- Spinning Up in Deep RL: https://spinningup.openai.com/
- Stable-Baselines3: https://stable-baselines3.readthedocs.io/
深層学習の学び方
深層学習は、読むだけではなかなか身につきません。理解が進む学び方は、次の3つを往復することです。
読む
-> 小さく動かす
-> 失敗させる
-> 原因を説明する
-> 少し変えて再実験する
まず小さく動かす
最初から大きなモデルや大きなデータセットに行くと、失敗したときに原因が見えません。まずは小さいTensor、小さいDataset、小さいモデルで動きを確認します。
例:
-
torch.randn(8, 3, 224, 224)をCNNへ通してshapeを見る -
torch.tensor([[1.0, 2.0]])で損失関数を手計算と比べる -
nn.Linear1層だけでloss.backward()して.gradを見る -
Dropoutをtrain()とeval()で比べる -
BatchNormのrunning_meanが更新されるか見る - RNNの
outputとh_nのshapeを表示する
この「小さい実験」は、深層学習の学習でかなり強力です。大きなコードを読む前に、最小例で確認すると理解が速くなります。
わざと壊す
正常に動くコードを1回走らせただけでは、まだ理解は浅いことがあります。意図的に壊すと、PyTorchが何を前提にしているかが見えます。
例:
-
CrossEntropyLossのtargetをfloatにしてみる - Conv2dへNHWCのTensorを渡してみる
- modelはCUDA、inputはCPUのままにしてみる
-
optimizer.zero_grad()を消して勾配累積を見る -
model.eval()を忘れてDropoutの出力が揺れることを見る -
pack_padded_sequenceにGPU上のlengthsを渡してエラーを確認する
エラーを怖がらず、エラーを教材として使います。ただし、実プロジェクトでは本番データや重要なcheckpointを壊さないように、必ず小さな検証コードで行います。
1テーマ1ノートでまとめる
学んだ内容は、ノートやMarkdownで「自分の言葉」に直すと定着します。
おすすめの形式は次の通りです。
テーマ: BCEWithLogitsLoss
1. 何をするものか
2. 入力shape
3. target shapeとdtype
4. よくあるミス
5. 小さな動作確認コード
6. 実務で使う場面
この形式で、DataLoader、CrossEntropyLoss、BatchNorm、AdamW、Grad-CAM、Faster R-CNN などを1つずつ整理すると、知識が断片ではなく道具になります。
再現から始める
論文やブログのモデルを学ぶときは、いきなり改造せず、まず再現します。
- 公式実装または信頼できる実装を動かす
- 入力と出力のshapeを記録する
- training lossが下がるか確認する
- 小さなデータでoverfitできるか確認する
- 1か所だけ変更して差を見る
小さなデータに過学習できないモデルは、データ、loss、optimizer、label、前処理のどこかが壊れている可能性があります。大きな実験の前に、小さなoverfit testを行う習慣をつけると、デバッグがかなり楽になります。
学習プロジェクト例
このシリーズを読んだ後に取り組みやすい実践課題を挙げます。
| 期間 | 課題 | 学べること |
|---|---|---|
| 1日 | MNISTまたはFashion-MNISTでMLPを訓練する | Tensor、loss、optimizer、accuracy |
| 2日 | CIFAR-10で小さなCNNを訓練する | CNN、Normalize、DataLoader、augmentation |
| 2日 | TensorBoardでloss、lr、weight histogramを記録する | 訓練監視、ログ設計 |
| 3日 | 事前学習済みResNetを2クラス分類に微調整する | fine-tuning、checkpoint、前処理 |
| 3日 | U-Net風モデルで小さな二値maskを学習する | segmentation、BCEWithLogitsLoss、Dice |
| 3日 | YOLO系モデルで自作小データを検出する | annotation、mAP、NMS、推論速度 |
| 4日 | 文字列分類をRNNとTransformerで比較する | sequence modeling、padding、attention |
| 1週間 | 推薦のTwo-tower retrievalを小さな行動ログで作る | embedding、negative sampling、retrieval |
| 1週間 | 時系列予測で古典手法、RNN、Transformer系を比較する | backtesting、leakage、予測区間 |
大切なのは、最初から高精度を狙いすぎないことです。まず動くbaselineを作り、記録し、1つずつ改善します。
参考になる学習リソース
公式ドキュメント
最初に見るべきなのは、やはり公式ドキュメントです。
- PyTorch Docs: https://docs.pytorch.org/docs/stable/index.html
- PyTorch Tutorials: https://docs.pytorch.org/tutorials/
- torchvision Docs: https://docs.pytorch.org/vision/stable/
- Hugging Face Docs: https://huggingface.co/docs
公式ドキュメントは、APIの入力、出力、shape、引数の意味を確認する場所です。ブログや動画で概念をつかんだあと、最終的には公式ドキュメントで仕様を確認する習慣を持つと安全です。
教科書・講義
基礎を体系的に学ぶには、次のリソースが役立ちます。
- Dive into Deep Learning: https://d2l.ai/
- Deep Learning Book: https://www.deeplearningbook.org/
- fast.ai Practical Deep Learning: https://course.fast.ai/
- Stanford CS231n: http://cs231n.stanford.edu/
- Stanford CS224N: https://web.stanford.edu/class/cs224n/
- MIT Introduction to Deep Learning: http://introtodeeplearning.com/
- Full Stack Deep Learning: https://fullstackdeeplearning.com/
読む順番としては、最初は実装寄りのfast.aiやPyTorch Tutorialsで手を動かし、並行してDive into Deep Learningで理論と実装の対応を見ると進めやすいです。CNNや画像認識を深めたい場合はCS231n、NLPやTransformerを深めたい場合はCS224Nが良い入口になります。
実装例とベンチマーク
実装を探すときは、次のサイトが役立ちます。
- Papers with Code: https://paperswithcode.com/
- timm: https://github.com/huggingface/pytorch-image-models
- Hugging Face Models: https://huggingface.co/models
- Kaggle Learn: https://www.kaggle.com/learn
- Kaggle Competitions: https://www.kaggle.com/competitions
ただし、GitHub上の実装は品質がさまざまです。使う前に、requirements、更新時期、issue、license、データ前処理、評価コードの有無を確認します。
日本語で学べるリソース
英語のリソースだけでなく、日本語で書かれた良質な教材やコミュニティも数多くあります。英語のドキュメントを読む前の足がかりとしても、日本語での理解を深める手段としても役立ちます。
- 「ゼロから作るDeep Learning」(斎藤康毅、オライリー・ジャパン):外部ライブラリにほぼ頼らず、パーセプトロンから誤差逆伝播法、CNNまでを一から実装しながら学べる定番書
- 「つくりながら学ぶ! PyTorchによる発展ディープラーニング」(小川雄太郎、マイナビ出版):画像分類、物体検出(SSD)、セグメンテーション(PSPNet)、姿勢推定、GAN、Transformer、BERTなど、このシリーズの先にある実装をPyTorchで扱う
- Preferred Networks Research & Development Blog:国内トップクラスの研究開発組織による技術記事
- Zenn:エンジニア向けの技術記事プラットフォームで、PyTorchや深層学習関連の実装記事も多い
参考リンク:
- ゼロから作るDeep Learning: https://www.oreilly.co.jp/books/9784873117584/
- つくりながら学ぶ! PyTorchによる発展ディープラーニング(GitHub): https://github.com/YutaroOgawa/pytorch_advanced
- Preferred Networks Blog: https://tech.preferred.jp/ja/blog/
- Zenn: https://zenn.dev/
大規模モデルを学習と仕事に活かす
大規模言語モデルは、深層学習を学ぶうえでも、実務で使ううえでも強力な補助になります。ただし、答えを丸ごと信じるためのものではなく、確認作業を速くする道具として使うのが安全です。
学習での使い方
次のような使い方が有効です。
- コードの各行にshapeコメントを付けてもらう
- エラーメッセージの原因候補を整理してもらう
- 論文の式をPyTorchのTensor操作に対応づけてもらう
- 自分の理解をチェックする問題を作ってもらう
- 実験計画の比較表を作ってもらう
- ログから次に見るべき点を整理してもらう
プロンプト例:
次のPyTorchコードについて、各行でTensorのshapeがどう変わるかを説明してください。
特に、batch次元、チャンネル次元、クラス次元を明示してください。
このRuntimeErrorの原因候補を、shape、dtype、device、loss関数の4観点で整理してください。
最後に、最小再現コードをどう作るべきか提案してください。
この論文のloss式を、PyTorchのTensor演算として実装するなら、入力shapeとtarget shapeはどうなりますか。
小さなダミーTensorで動く例も作ってください。
実務での使い方
実務では、次のような場面で役立ちます。
- データチェックリストの作成
- 前処理パイプラインのレビュー
- 学習ログの要約
- ハイパーパラメータ探索案の整理
- 実験結果レポートの下書き
- モデルカードやREADMEの作成
- エラー調査の初期仮説作り
- テストケースやassertionの提案
たとえば、学習ログを貼って次のように依頼できます。
この学習ログを見て、過学習、学習率過大、データ不整合、label不一致のどれが疑わしいかを整理してください。
根拠と、次に確認する実験を3つ提案してください。
注意点
大規模モデルを使うときは、次の点に注意します。
- 生成されたコードは必ず小さな入力で実行確認する
- API仕様は公式ドキュメントで確認する
- 機密データ、個人情報、秘密鍵、未公開コードを不用意に貼らない
- 数値結果や論文情報を鵜呑みにしない
- 実験結果の判断は、検証データと評価指標で行う
- 「それらしい説明」と「正しい説明」を分ける
大規模モデルは、理解を代替するものではありません。良い使い方は、自分の仮説を速く作り、小さな実験で検証し、公式情報で確認することです。
深層学習の今後
深層学習は、これからもいくつかの方向に発展していくと考えられます。
基盤モデルの専門領域化
テキスト、画像、音声だけでなく、時系列、医療、金融、材料、気象、推薦、ロボティクスなど、専門領域ごとの基盤モデルが増えていきます。
重要になるのは、単に大きなモデルを使うことではなく、その領域のデータ定義、評価指標、制約、リスクを理解することです。医療なら安全性と説明責任、金融なら分布変化と規制、推薦ならユーザー体験とバイアス、時系列ならleakageと不確実性が重要になります。
マルチモーダル化
テキスト、画像、音声、動画、3D、センサー、表形式データを組み合わせるモデルが増えます。
text + image
text + audio
video + action
table + text
sensor + time series
このとき、各モダリティをTensorとしてどう表すか、どのタイミングで融合するか、評価をどう設計するかが重要になります。第2回から第10回で繰り返したshape、値域、loss、評価の考え方は、マルチモーダルでも土台になります。
小型化、効率化、オンデバイス化
大きなモデルが強力になる一方で、実務では小さく速いモデルも重要です。
- quantization
- pruning
- distillation
- LoRAやAdapter
- FlashAttentionのような効率化
- edge deviceでの推論
- CPU推論最適化
精度だけでなく、遅延、メモリ、コスト、消費電力も評価対象になります。
データ中心の改善
モデルを大きくするだけではなく、データをよくすることの重要性はさらに増えます。
- labelの品質
- 重複データの除去
- train/valid/testの分割設計
- leakage防止
- hard negativeの収集
- ロングテールクラスの扱い
- 評価データの設計
- 継続的なデータ監視
実務では、モデル構造を変えるより、データ定義や評価設計を直したほうが効果が大きいことも多いです。
信頼性、安全性、説明可能性
深層学習モデルが社会の重要な判断に近づくほど、次の観点が重要になります。
- robustness
- bias / fairness
- privacy
- security
- hallucination対策
- adversarial example
- uncertainty estimation
- monitoring
- human-in-the-loop
Grad-CAMのような可視化は理解の補助になりますが、それだけで安全性を保証するものではありません。評価データ、ストレステスト、運用監視、失敗時のfallback設計が必要です。
AIエージェントとワークフロー自動化
大規模モデルは、単発の質問応答だけでなく、検索、コード実行、ファイル編集、評価、レポート作成を組み合わせたワークフローにも使われます。
深層学習の実務では、次のような形が増えていきます。
実験ログを読む
-> 仮説を作る
-> 設定ファイルを変更する
-> 実験を回す
-> 結果を比較する
-> レポートを書く
ただし、完全自動化より先に重要なのは、評価基準を明確にすることです。何を良い結果とするのか、どのデータで判断するのか、失敗時に何を止めるのかが曖昧なまま自動化すると、間違った方向へ速く進んでしまいます。
まとめ
この全10回で扱った内容は、深層学習のすべてではありません。しかし、PyTorchで深層学習を読むための基礎体力はかなり広く含まれています。
最初に環境を整え、Tensorとautogradを理解し、DatasetとDataLoaderでデータを流し、nn.Module でモデルを組み、損失関数とoptimizerで訓練し、schedulerやTensorBoardで観察し、正則化やNormalizationで安定させ、checkpointやfine-tuningで実践に近づける。そのうえで、CNN、GAN、RNNの代表的なタスクに触れる、という流れです。
ここから先は、興味のある領域に進むとよいです。画像ならYOLO、Vision Transformer、Segment Anything、diffusion model。自然言語ならTransformer、LLM、RAG、instruction tuning。時系列ならInformerやPatchTSTなどの長期予測モデル、Chronosのような基盤モデル、さらに電力需要・価格予測のような実務領域。推薦ならTwo-tower、DeepFM、SASRec、BERT4Rec、LLM推薦。グラフならGNN。強化学習ならPPOやSAC。
どの領域へ進んでも、基本は変わりません。
入力は何か
Tensorのshapeは何か
モデルは何を返すか
targetは何か
lossは何を最小化するか
optimizerは何を更新するか
評価指標は何を測るか
失敗したとき、どこから切り分けるか
この問いを持ったまま新しいモデルや論文を読むと、表面的な流行語ではなく、実装として何が起きているのかを追えるようになります。深層学習の学習は長いですが、毎回この基本に戻れるようになると、新しい技術もかなり落ち着いて学べます。