ディープラーニングG検定 用語メモ(6.ディープラーニングの基本)

はじめに

ディープラーニングG検定の勉強用メモとして、参考書に出てきた用語をリストにまとめました。

参考資料

• ディープラーニング G検定 公式テキスト
• これ1冊で最短合格 ディープラーニングG検定ジェネラリスト 要点整理テキスト&問題集

各章へのリンク

• 5.ディープラーニングの概要
• 6.ディープラーニングの基本
• 7.ディープラーニングの研究分野
• 8.ディープラーニングの産業展開

用語リスト

名前	説明
順伝播型ニューラルネットワーク	情報が入力層から出力層の方向へ一方的に流れ、逆戻りしないタイプのニューラルネットワーク。隣接する層のユニットが全て結合する。
畳み込みニューラルネットワーク [CNN]	順伝播型ニューラルネットワークの一種。画像認識によく使われる。 畳み込み層とプーリング層が交互に配置され、隣接する層の特定ユニットだけ結合される。 層数を増やすとパラメータ数が膨大になり、学習が困難になる。
畳み込み層	CNNの構成要素で、畳み込みの計算を行う層。
プーリング層	CNNの構成要素で、プーリングを行う層。畳み込み層の後に配置される。
全結合層	CNNの構成要素で、出力層の手前にあり、畳み込みとプーリングで特徴部分が取り出された画像データを一つに結合する層。隣接する層の全ユニットが結合される。
パディング	CNNの学習で、入力画像の周りを固定値(0にすることが多い)で埋める操作のこと。 パディングにより、入力画像と同じサイズの出力結果(特徴マップ)が得られる。
畳み込み	入力画像の要素とそれに対応するフィルタの要素の積を計算し、値の和を求める計算。
ストライド	畳み込みの計算で、フィルタを移動させる間隔のこと。
重み共有	CNNの畳み込み層において、全ユニットで重みが同じになること。その結果、畳み込み層のパラメータ数は全結合層のパラメータと比べて減少するため、計算量が少なくなる。
プーリング	畳み込み層から渡されたデータを、最大値や平均値を使ってダウンサンプリングする計算。畳み込み層で抽出された特徴の位置感度を下げることにより、画像内の位置が変化してもプーリング層で出力が同じになる。
グレースケール化	CNNの前処理の一つ。 カラー画像をモノクロに変換して計算量を減らす。
平滑化	CNNの前処理の一つ。 ガウシアンフィルタや平均化フィルタなどを使うことにより細かいノイズを消去する。
ヒストグラム計算	CNNの前処理の一つ。 画像全体の明暗を平均化してコントラストを高くする。
LeNet	CNNの一種。 1998年にヤン・ルカンが発案した。 畳み込み層とプーリング層があり、初めて誤差逆伝播法が使われたCNNの元祖的存在。
AlexNet	CNNの一種。 2012年にトロント大学のジェフリー・ヒントン教授たちのチームが発案。 特徴として、活性化関数にReLUを使ったり、過学習防止のためにドロップアウトを使う。 同年のILSVRCで、サポートベクターマシンなどの従来のアルゴリズムを圧倒する成績で優勝した。
GoogLeNet	CNNの一種。 インセプションモジュールというブロックから構成される22層構造。 2014年にILSVRCで優勝した。
インセプションモジュール	GoogLeNetの構成要素。 複数の畳み込み層を並列に適用し、それぞれの畳み込み計算の結果を最後に連結する。
VGGNet	CNNの一種。 オックスフォード大学で開発された。
VGG16	VGGNetの一種。 畳み込み13層、全結合3層のネットワークで構成される。
VGG19	VGGNetの一種。 畳み込み16層、全結合3層のネットワークで構成される。
ResNet	CNNの一種。 スキップコネクションを用いた残差を学習することにより、最大1,000層以上の深いニューラルネットワークを構築する。 Microsoftが開発し、2015年に人間よりも高い画像認識精度(誤り3.6%)を出したとして有名になった。
スキップコネクション	ResNetで使われている技術。 2つの層を繋いでそのままの値を渡すことにより、深い層でも計算可能とした。 層をまたぐ接続が可能となり、勾配消失問題を防止できる。
MobileNets	CNNの一種。 リソースに制約のある組み込み機器などに使うため、速度を考慮して効率的に精度を上げることを可能としたモデル。 2017年にGoogleが発表。
カプセルネットワーク	CNNの一種。 2017年にジェフリー・ヒントンらによって提案された。 プーリングによって特徴間の空間的関係が失われるという従来のCNNの問題を解消するため、空間情報をベクトル出力して次の層へ選択的に渡している。また、squash関数を使うことでベクトル情報を維持したまま圧縮可能。 これらにより、従来のCNNに比べて訓練データを少なくできる。
転移学習	ニューラルネットワークの学習済モデル活用手法の一つ。 既存の学習モデルを新しい課題のデータに利用する。 既存の学習モデルの重みは変更しないので、少ないデータと計算量で学習モデルを作れる。 学習済モデルを利用することで、少ない計算量で学習が可能になり、過学習を防ぐ効果がある。
蒸留	ニューラルネットワークの学習済モデル活用手法の一つ。 大規模なニューラルネットワークのモデルの入出力を小規模なモデルに学習させる。 学習済モデルを利用することで、少ない計算量で学習が可能になり、過学習を防ぐ効果がある。
再帰型ニューラルネットワーク [RNN]	内部に再帰構造を持つニューラルネットワーク。学習にBPTT法を使う。 情報の一時記憶により過去の全ての入力データを扱えるため、音声認識や自然言語処理に使われる。 一般的なRNNでは、過去から未来の情報のみを使って学習する。 内部に再帰構造を持つ関係上、勾配消失問題が起きやすい。また、前時刻の結果を使って逐次的に処理するため、時系列での並列処理が難しく、GPUとの相性が悪い。
BPTT (Backpropagation Through Time) 法	時間を過去に遡って反映する学習法。
双方向 (Bidirectional) RNN	過去から未来だけでなく、未来から過去への情報も同時に学習することで精度を向上させたRNN。 未来の情報がないと使えないので、文章の推敲、機械翻訳、フレーム問題の補完などに使う。
ジョーダンネット	単純RNNの一種。 文脈ユニットが直前の出力層の状態を入力とする。
エルマンネット	単純RNNの一種。 文脈ユニットが直前の中間層の状態を入力とする。
文脈ユニット	単純RNNの入力層に配置され、入力信号ではなく直前の中間層や出力層の状態を入力とするユニット。 直前の状態を記憶することにより、過去の状態を記憶する。
LSTM	RNNの一種。 LSTM blockを使うことで、系列データにおける勾配消失問題を解消した。 簡略化した手法にGRUがある。
LSTM block	LSTMの中間層に使われているユニットで、(1)メモリとメモリ・セル、(2)入力ゲート、(3)忘却ゲート、の3つのゲートを持つ。
sequence-to-sequence	系列データを入力として受け取り、系列データを出力する学習モデルのこと。
RNN Encoder-Decoder	sequence-to-sequenceの一種で、エンコーダとデコーダにRNNを使っている。 機械翻訳、音声認識、キャプション生成の精度向上に貢献した。
アテンション(注意機構)	RNN Encoder-Decoderの精度改善の仕組み。 エンコーダのパラメータを利用して、デコーダではどの単語にフォーカスするかを決める。 エンコーダの出力が固定長ベクトルになるという制約から解放されるため、人間と同じように必要な情報だけに集中することができる。
BERT	2018年にGoogleが発表したRNN Encoder-Decoderのアルゴリズム。 文章中の単語をランダムにマスクして、マスクした単語を周辺の単語から予測する。 SQuADでは人間を上回る精度を記録した。
SQuAD	スタンフォード大学が提供しているデータセット。 約10万個の質疑応答を収録。
自己符号化器 [Autoencoder]	入力と出力が同じになることを目指す学習。データの特徴獲得や次元圧縮ができる。 2層の自己符号化器では、単層のニューラルネットワークとそれを反転させた2層のネットワークで構成され、最初のネットワークでは符号化(エンコード)、次のネットワークで復号(デコード)を行う。中間層のユニット数は、入力層や出力層よりも少なくなる。 事前学習で、自己符号化器を使ってパラメータを初期化することにより、勾配消失問題が起きにくくなる。
積層自己符号化器	自己符号化として学習した単層ネットワークを積み重ねたもの。
ファインチューニング	既存の学習済みモデルを再学習する手法。 学習済みのモデルの最後の一部分の重みを再学習させて、新しいタスクについても適合できるようにする。
深層強化学習	ディープラーニングによる強化学習。
Q学習	強化学習の代表的手法。 現在の環境で可能な行動の中から最も状態行動価値(Q)が高い行動を選択させる。
状態行動価値	ある状態において、ある行動をとった時の価値。
探索と搾取のジレンマ	常に最大報酬が得られる行動ばかりを選択すると最終的に最も大きな報酬を得られないが、一時的に報酬が下がる行動ばかりを選択すると報酬が増えないという、強化学習の行動選択におけるジレンマ。
DQN	深層強化学習の手法の一つ。 行動価値関数の関数近似にCNNを使う。 DeepMindが開発。
ボルツマンマシン	1985年にジェフリー・ヒントンらが提案したニューラルネットワークの一種。 温度の概念を取り入れ、確率的に動作するのが特徴。
深層生成モデル	ディープラーニングを利用した生成モデル。
生成モデル	訓練データを学習し、それらと似た新しいデータを生成する学習モデル。
敵対的生成ネットワーク [GAN]	深層生成モデルの一種。 Google Brainのイアン・グッドフェローが提案した。 画像生成器と画像識別器を交互に競合させて学習を進めることにより、本物に近い画像データを生成できるようにする。
画像生成器	GANを構成するニューラルネットワークの一つ。 入力されたノイズから訓練データと同じようなデータを生成する。
画像識別器	GANを構成するニューラルネットワークの一つ。 入力されたデータが、訓練データか画像識生成器が作ったものかを区別する。
変分自己符号化器 [VAE]	深層生成モデルの一種。 自己符号化器の潜在変数部分に確率分布を導入。