2024v1.2シラバスに乗っている試験に出る範囲と解説
※出ない範囲は記載なし
1.数学的基礎
(2) 確率・統計
ii.確率モデルにおけるパラメータ推定
ベイズ則
ナイーブベイズ
平均二乗誤差
対数尤度
ダイバージェンス
最尤推定
MAP推定
ベイズ推定
(3)情報理論
i.情報理論
自己情報量
相互情報量
エントロピー
条件付きエントロピー
結合エントロピー
クロスエントロピー
KLダイバージェンス
JSダイバージェンス
2.機械学習
(1)機械学習の基礎
i.パターン認識
k近傍法・近傍法
kd-tree
近似最近傍
距離計算
コサイン距離
ユークリッド距離
マンハッタン距離
Lp距離
マハラノビス距離
ii.機械学習の分類
機械学習
教師あり学習
教師なし学習
半教師あり学習
ix.機械学習の課題
過剰適合・過少適合
汎化誤差
訓練誤差
バイアス
バリアンス
正則化
次元の呪い
x.検証集合
訓練データ・検証データ・テストデータ
訓練誤差
汎化誤差
交差検証
ホールドアウト法
k-分割交差検証法
xi.性能指標
正解率(Accuracy)
適合率(Precision)
再現率(Recall)、
F値
ROC曲線
AUC、Intersection-over-Union (IoU)
mean Average Precision(mAP)
多クラス分類の評価指標（micro平均/macro平均）
RMSE/MSE
MAE
混同行列
3.深層学習の基礎
(1)順伝播型ネットワーク
i.多層パーセプトロン
全結合層
重み
バイアス
ii.出力層と損失関数
回帰
平均二乗誤差(MSE)
平均絶対誤差(MAE)
2値分類
クロスエントロピー誤差
バイナリクロスエントロピー
多クラス分類
ソフトマックス関数
one-hotベクトル
マルチラベル分類
順序回帰
iii.活性化関数
シグモイド関数
温度パラメータ、勾配消失
ReLU, Leaky ReLU
GELU
tanh
双曲線関数
(2)深層モデルのための最適化
i.基本的なアルゴリズム
確率的勾配降下法（SGD）
学習率
最急降下法
ミニバッチ
モメンタム
Pathological Curvature、Momentum
Nesterov Accelerated Gradient
ii.誤差逆伝播法
誤差逆伝播法
連鎖律
偏微分によるデルタ
勾配消失
自動微分
計算グラフ
iii.適応的な学習率を持つアルゴリズム
AdaGrad
RMSProp
Adam
iv.パラメータ初期化戦略
Xavier法/Glorot法
Kaiming法/He法
(3)深層モデルの為の正則化
i.パラメータノルムペナルティー
L1正則化
スパース表現
L2正則化
weight decay
ii.確率的削除
ドロップアウト
ドロップコネクト
iii.隠的正規化
早期終了
バッチサイズ
学習率の調整
(4)畳み込みニューラルネットワーク
i.畳み込みニューラルネットワーク
基本的な畳み込み演算
単純型細胞と複雑型細胞
受容野（receptive field）
特徴マップ
フィルタ
カーネル
パディング
ストライド
im2col
チャネル
特別な畳み込み
point-wise畳み込み（1x1畳み込み）
depth-wise畳み込み
グループ化畳み込み
アップサンプリングと逆畳み込み
プーリング
Max pooling
Lp pooling
Global Average Pooling
(5)リカレントニューラルネットワーク
i.リカレントニューラルネットワーク
順伝播の計算
逆伝搬の計算（Back Propagation Through Time; BPTT）
双方向RNN
ii.ゲート機構
勾配消失
忘却ゲート
入力ゲート
出力ゲート
LSTM（長期記憶と短期記憶）
GRU
リセットゲート
メモリーセル
iii.系列変換
エンコーダ・デコーダ
seqence-to-sequence（seq2seq）
アテンション（注意）機構
(6)Transformer
i.Transformer
Self-Attention
Scaled Dot-Product Attention
Source Target Attention、Masked Attention
Multi-Head Attention
Positional Encoding
(7)汎化性能向上のためのテクニック
i.データ集合の拡張
画像のデータ拡張
ノイズ付与
Rnadom Flip・Erase・Crop・Contrast・Brightness・Rotate
RandAugument
MixUp
自然言語のデータ拡張
EDA
MixUp
ii.正規化
Batch Normalization
Layer Normalization、
Instance Normalization
Group Normalization
iii.アンサンブル学習
バギング
ブースティング
ブートストラップ
スタッキング
iv.ハイパーパラメータの選択
基本的なハイパーパラメータ調整
学習率
隠れ層の数 (レイヤー層数)
ユニット数
ドロップアウトの割合
バッチサイズ
正則化項の係数
ハイパーパラメータの最適化
グリッドサーチ
ランダムサーチ
ベイズ最適化
4.深層学習の応用
(1)画像認識
i.ResNet , WideResNet
残差接続（skip-connection）
ボトルネック構造
Residual Block
ii.Vision Transformer
CLS token
Position embedding
(2)物体検出
i. FasterR-CNN, MaskR-CNN
Bounding Box
mAP
ROI
end-to-end
2ステージ検出
Selective Search
Fast R-CNN
Region Proposal Network (RPN)
Anchor box
アンカー
ROI Pooling
ROI Align
インスタンスセグメンテーション
ii.YOLO, SSD
1ステージ検出
デフォルトボックス
Non-Maximum Suppression (NMS)
ハードネガティブマイニング
iii.FCOS
アンカーフリー（Anchor-Free）
Feature Pyramid Network（FPN）
センターネス（Center-ness）
アンビギュアスサンプル
(3)セマンティックセグメンテーション
i.FCN, U-Net
スキップコネクション
アップサンプリング
インスタンスセグメンテーション
パノプティックセグメンテーション（Panoptic Segmentation）
(4)自然言語処理
i.WordEmbedding
潜在的意味インデキシング（LSI）
Word2vec
n-gram
skip gram
CBOW
ネガティブサンプリング
ii.BERT
Masked Language Modeling(MLM)
Next Sentence Prediction(NSP)
事前学習
ファインチューニング
positional embeddings
segment embeddings
iii.GPT-n
基盤モデル
Few Shot learning
Zero Shot learning
Prompt Base Learning
(6)生成モデル
i.識別モデルと生成モデル
識別モデル
生成モデル
拡散モデル
フローベース生成モデル
ii.オートエンコーダ
オートエンコーダ
Denoising autoencoder
VAE
VAE、Reparameterization Trick、変分下限
iii.GAN
基本的なGAN
生成器ネットワーク
識別器ネットワーク
モード崩壊 (mode collapse)
Wasserstein GAN
DCGAN
条件付きGAN
Conditional GAN
CycleGAN
(7)深層強化学習
i.深層強化学習のモデル
DQN
行動価値関数
TD学習
Q学習
Experience replay
A3C
方策勾配法（Policy Gradient）
Actor-Critic法
(8)様々な学習方法
i.転移学習
ファインチューニング
ドメイン適応 (domain adaptation)
ドメインシフト
ii.半教師あり学習と自己教師あり学習
Self-Training
Co-Training
Contrastive learning
iv.距離学習
2サンプルによる比較
表現学習
Siamese network
contrastive loss
3サンプルによる比較
Triplet loss
Triplet network
(9)深層学習の説明性
i.判断根拠の可視化
XAI (eXplainable AI)
CAM (Class Activation Map)
Grad-CAM
ii.モデルの近似
局所的な解釈
大域的な解釈
LIME
SHAP
ShapleyValue
協力ゲーム理論
5.開発・運用領域
(1)エッジコンピューティング
i.モデルの軽量化
エッジコンピューティング
IoTデバイス
プルーニング（枝刈り）
蒸留(Distillation)
量子化（Quantization）
(2)分散処理
i.並列分散処理
分散深層学習
モデル並列化
データ並列化
(3)アクセラレータ
i.デバイスによる高速化
単一命令列複数データ (SIMD; Single Instruction Multiple Data)
単一命令複数スレッド (SIMT; Single Instruction Multiple Thread)
複数命令列複数データ (MIMD; Multiple Instruction Multiple Data)
GPU (Graphics Processing Unit)
TPU (Tensor Processing Unit)
(4)環境構築
i.コンテナ型仮想化
仮想化環境
ホスト型
ハイパーバイザー型
コンテナ型
Docker
Dockerfile