深層学習 Day3.4

深層学習 Day3

Section1 再帰型ニューラルネットワーク(RNN)の概念

1. RNN
   • 時系列データに対応可能な、ニューラルネットワークのこと。
   • ノード間の結合が配列に沿った有向グラフを形成する人工ニューラルネットワークのこと。
   • 時系列モデルを扱うには、初期の状態と過去の時間t-1の状態を保持し、そこから次の時間でのtを再帰的に求める再帰構造が必要になる。
2. RNNの課題
   • 時系列を遡れば遡るほど、勾配が消失していく。
3. 時系列データ
   • 時間的順序を追って一定間隔ごとに観察され，しかも相互に統計的依存関係が認められるようなデータの系列のこと。
4. BPTT(通時的誤差逆伝播法)
   • 特定のタイプのリカレントニューラルネットワークをトレーニングするための勾配ベースの手法のこと。
5. 実装演習　Section1
   • 下部に記載。
6. おまけ　RTRL法
   • 誤差の逆伝播を行わず、１時刻前の勾配の情報を用いて実時間で学習を行う方法のこと。

Section2 LSTM

1. LSTM
   • 長期的な依存関係を学習することのできる、RNNの特別な一種のこと。
   • RNNにおける勾配消失問題を解決する。
2. CEC
   • 誤差消滅問題に対応するために導入された非常にシンプルなアプローチのこと。
3. 入力・出力ゲート
   • 力・出力ゲートを追加することで、それぞれのゲートへの入力値の重みを、重み行列W,Uで可変可能とする。
   • CECの課題を解決する。
4. 忘却ゲート
   • 過去の情報が要らなくなった場合、そのタイミングで情報を忘却する機能のこと。
5. 覗き穴結合
   • CEC自身の値に、重み行列を介して伝播可能にした構造のこと。
6. 実装演習　Section2
   • 下部に記載。
7. おまけ　LSTMの応用事例
   • 大規模音声認識(Google)
   • 英語-フランス語翻訳(Google)
   • テキスト読み上げ(Microsoft)
   • Google Voice
   • 画像からのキャプション生成(Google)

Section3 GRU

1. GRU
   • 従来のLSTMにおける多数のパラメータを大幅に削減し、精度は同等またはそれ以上が望める様になった構造のこと。
   • 内部様態のバリエーションはGRUの方が確実にLSTMより少ないため、表現能力という点では落ちている。
   • LSTMの忘却ゲートと入力ゲートを単一の更新ゲートにマージし隠れ状態のみを伝達していくニューラルネットワークのモデルのこと。
2. 実装演習　Section3
   • 下部に記載。
3. おまけ　勾配クリッピング
   • 勾配のノルムに対して一定の制約値を設け、ミニバッチの学習毎に大きくなりすぎた勾配のノルムを補正するという方法のこと。
   • 誤差逆伝播法を実行するときに時折発生する勾配爆発問題に対処するために使用される手法のこと。

Section4 双方向RNN

1. 双方向RNN
   • 過去の情報だけでなく、未来の情報を加味することで、精度を向上させるためのモデルのこと。
   • 中間層の出力を、未来への順伝播と過去への逆伝播の両方向に伝播するネットワークのこと。
2. 双方向RNN　順伝播
   • 状態tにおける中間層は、入力値と状態t-1から入力を受け取り、それぞれに重みをかけて、活性化関数に代入して得られる値を、この中間層の出力値としている。
3. 双方向RNN　逆伝播
   • 状態tにおける中間層は、入力値と状態t+1から入力を受け取り、それぞれに重みをかけて、活性化関数に代入して得られる値を、この中間層の出力値としている。
4. 実装演習　Section4
   • 下部に記載。
5. おまけ　双方向長短期記憶層
   • 時系列データまたはシーケンスデータのタイムステップ間の双方向の長期的な依存関係を学習し、各タイムステップで時系列全体からネットワークに学習させる層のこと。

Section5 Seq2Seq

1. Seq2seq
   • Encoder-Decoderモデルの一種のこと。
   • 文字列から文字列への変換モデルのこと。
   • 機械対話や、機械翻訳などに使用されている。
2. Encoder RNN
   • ユーザーがインプットしたテキストデータを、単語等のトークンに区切って渡す構造になっている。
3. Decoder RNN
   • システムがアウトプットデータを、単語等のトークンごとに生成する構造になっている。
4. Encoder-Decoder RNN
   • 入力用のEncoderと出力用のDecoderの2つのLSTMを組み合わせたもの。
5. HRED(the hierarchical recurrent encoder-decoder)
   • 階層的なRNNのこと。
   • 過去n-1個の発話から次の発話を生成する。
   • Seq2seqのエンコーダーとデコーダーに加えて、文脈を学習するRNNを追加する。
6. Context RNN
   • Encoderのまとめた各文章の系列をまとめて、これまでの会話コンテキスト全体を表すベクトルに変換する構造になっている。
7. VHRED
   • HREDにVAEの潜在変数の概念を追加したもの。
   • HREDの課題を、VAEの潜在変数の概念を追加することで解決した構造になっている。
8. オートエンコーダ
   • 入力されたデータを一度圧縮し、重要な特徴量だけを残した後、再度もとの次元に復元処理をするアルゴリズムのこと。
   • ニューラルネットワークの1つのこと。
9. VAE(変分自己符号化器)
   • EncoderとDecoderという2つのネットワークからなり、オートエンコーダのような構造をしている。
   • データを潜在変数zの確率分布という構造に押し込めることを可能にしている。
10. 実装演習　Section5
    • 下部に記載。
11. おまけ　様々なVAE
    • Vanilla VAE
    • Conditional VAE
    • β-VAE
    • Vector Quantised-VAE
    • Vector Quantised-VAE-2

Section6 Word2vec

1. Word2vec
   • 単語の埋め込みを生成するために使用される一連のモデル群のこと。
   • 学習データからボキャブラリを作成する。
2. one-hotベクトル
   • 1つの成分が1で残りの成分が全て0であるようなベクトルのこと。
3. word2vecメリット
   • 大規模データの分散表現の学習が、現実的な計算速度とメモリ量で実現可能になった。
4. 実装演習　Section6
   • 下部に記載。
5. おまけ　Word2vecで使用するニューラルネットワークのモデル
   • CBOW(continuous bag-of-words)
   • skip-gram

Section7 Attention Mechanism

1. Attention Mechanism
   • エンコードされた入力文とデコーダーの内部状態を判断材料として、次の単語を訳出する際に注目すべき箇所を判断する役割をしている。
   • 文章が長くなるほどそのシーケンスの内部表現の次元も大きくなっていく、「入力と出力のどの単語が関連しているのか」の関連度を学習する仕組みになっている。
2. Attention機構の種類
   • 空間方向のAttention
   • チャネル方向のAttention
3. 実装演習　Section7
   • 下部に記載。
4. おまけ　連想記憶モデル(アソシアトロン)
   • ネットワークに記憶パターンを保持していて、記憶パターンと少し違う、或いは少し欠落したパターンを入力されても、正しい記憶パターンを出力する事が出来る。
   • 相互結合型ネットワークであり、全ての細胞同士の結合係数を考慮する。

実装レポート

深層学習 Day4

強化学習

1. 強化学習
   • 長期的に報酬を最大化できるように環境のなかで行動を選択できるエージェントを作ることを目標とする機械学習の一分野のこと。
   • 行動の結果として与えられる利益(報酬)をもとに、行動を決定する原理を改善していく仕組みとなっている。
2. Q学習
   • 行動価値関数を、行動する毎に更新することにより学習を進める方法のこと。
3. 関数近似法
   • 価値関数や方策関数を関数近似する手法のこと。
4. 価値関数
   • 状態価値関数と行動価値関数の2種類がある。
   • 重みの要素を、前の層のノード数の平方根で除算した値に対し√２をかけ合わせた値のこと。
5. 状態価値関数
   • ある状態の価値に注目する関数のこと。
6. 行動価値関数
   • 状態と価値を組み合わせた価値に注目する関数のこと。
7. 方策関数
   • 方策ベースの強化学習手法において、ある状態でどのような行動を採るのかの確率を与える関数のこと。
8. 方策勾配法
   • 方策をあるパラメータで表される関数とし、そのパラメータを学習することにより、直接方策を学習していくアプローチのこと。
9. 方策反復法
   • 方策をモデル化して最適化する手法のこと。
10. おまけ　深層強化学習
    • 強化学習の関数（システムが受け取る情報を入力とし、最適な行動を出力するもの）にディープ・ニューラルネットワークを使用した強化学習のこと。

AlphaGo

1. AlphaGo
   • Google DeepMindによって開発されたコンピュータ囲碁プログラムのこと。
2. PolicyNet
   • フィルター数128で15ブロックのResNetをTYGEM9dの棋譜約140万局で学習し（一致率は約 57%）、そこからcgosの強いプログラムの棋譜を使って少しFinetuningしたもの。
3. ValueNet
   • フィルター数192で13層のものをKGS、TYGEM、AYAの棋譜合計約400局面で学習したもの。
   • 谷間についてから最も低い位置(最適値)にいくまでの時間が早い。
4. モンテカルロ木探索
   • モンテカルロ法を使った木の探索のこと。
   • 決定過程に対する、ヒューリスティクス（＝途中で不要な探索をやめ、ある程度の高確率で良い手を導ける）な探索アルゴリズムのこと。
5. モンテカルロ法
   • 求める値が複数の確率変数の関数（数値モデル）で表現できるとき、各変数で仮定される確率分布に沿った標本値を乱数を利用して大量に生成して、演算を多数回試行し、その結果から求める値の分布を得る方法のこと。
6. AlphaGo LeeとAlphaGo Zeroの違い
   • 教師あり学習を一切行わず、強化学習のみで作成している。
   • 特徴入力からヒューリスティックな要素を排除し、石の配置のみにしている。
   • PolicyNetとValueNetを１つのネットワークに統合している。
   • ResidualNet（後述）を導入している。
   • モンテカルロ木探索からRollOutシミュレーションをなくしている。
7. Residual Network
   • ネットワークにショートカット構造を追加して、勾配の爆発、消失を抑える効果を狙ったもの。
8. おまけ AlphaGoからの派生
   • AlphaGo Zero(2017)
   • AlphaZero(2017)
   • OpenAi Five(2019)
   • AlphaStar(2019)

データ並列化

1. データ並列化
   • 親モデルを各ワーカーに子モデルとしてコピーする。
   • データを分割し、各ワーカーごとに計算させる。
   • 各モデルのパラメータの合わせ方で、同期型か非同期型か決まる。
   • モデルが大きい時に使用する。
2. データ並列化 同期型
   • 各ワーカーが計算が終わるのを待ち、全ワーカーの勾配が出たところで勾配の平均を計算し、親モデルのパラメータを更新する。
3. データ並列化 非同期型
   • 各ワーカーはお互いの計算を待たず、各子モデルごとに更新を行う。
4. 同期型と非同期型の比較
   • 処理のスピードは、お互いのワーカーの計算を待たない非同期型の方が早い。
   • 非同期型は最新のモデルのパラメータを利用できないので、学習が不安定になりやすい。
   • 現在は同期型の方が精度が良いことが多いので、主流となっている。
5. おまけ データ並列化処理　2種類の詳細
   • Distributed Gradient(Gradient Averaging)
     • 勾配計算の並列化
     • 重みの更新は基本的に単一ノード
     • モデルは共有しない。
   • Parameter Mixing(Model Averaging)
     • 確率的勾配降下法の学習処理を並列化
     • 重みの更新が各学習器の計算ノードで行われ、その後モデルの並列化処理が行われる。
     • モデルを共有する。

モデル並列化

1. モデル並列化
   • 親モデルを各ワーカーに分割し、それぞれのモデルを学習させ、全てのデータで学習が終わった後で一つのモデルに復元する。
   • データが大きい時に使用する。
   • モデルのパラメータ数が多いほど、スピードアップの効率も向上する。
2. GPGPU(General-purpose on GPU)
   • 元々の使用目的であるグラフィック以外の用途で使用されるGPUの総称のこと。
3. CPU
   • 高性能なコアが少数である。
   • 複雑で連続的な処理が得意である。
4. GPU
   • 比較的低性能なコアが多数である。
   • 簡単な並列処理が得意である。
   • ニューラルネットの学習は単純な行列演算が多いので、高速化が可能である。
5. GPGPU開発環境
   • CUDA
   • OpenCL
   • CUDA
6. おまけ 第三次AIブームの理由
   • 「ディープラーニング」の登場
   • コンピュータの性能が改善
   • スマートフォンの普及

量子化

1. モデルの軽量化
   • モデルの精度を維持しつつパラメータや演算回数を低減する手法の総称のこと。
2. 量子化(Quantization)
   • モデルの軽量化の１つである。
   • 通常のパラメータの64bit浮動小数点を32bitなど下位の精度に落とすことでメモリと演算処理の削減を行う。
3. 量子化の利点
   • 計算を高速化できる。
   • 省メモリかできる。
4. 量子化の欠点
   • 精度が低下する。
5. 計算の高速化
   • 倍精度演算(64bit)と単精度演算(32bit)は演算性能が大きく違うため、量子化により精度を落とすことによりより多くの計算をすることができる。
6. 省メモリ化
   • ニューロンの重みを浮動小数点のbit数を少なくし有効桁数を下げることでニューロンのメモリサイズを小さくすることができ、多くのメモリを消費するモデルのメモリ使用量を抑えることができる。
7. 精度の低下
   • ニューロンが表現できる少数の有効桁が小さくなることでモデルの表現力が低下する。
8. おまけ 量子化の分類
   • Quantized Format(Bit数 / Signed or Unsigned)
   • Symmetric or Asymmetric
   • Per-tensor or Per-channel(per-axis)
   • Static or Dynamic
   • Post quantization or Quantization-aware training

蒸留

1. 蒸留(Distillation)
   • モデルの軽量化の１つである。
   • 規模の大きなモデルの知識を使い軽量なモデルの作成を行う。
   • 教師モデルと生徒モデルの2つで構成される。
2. モデルの簡約化
   • 学習済みの精度の高いモデルの知識を軽量なモデルへ継承させる。
   • 知識の継承により、軽量でありながら複雑なモデルに匹敵する精度のモデルを得ることが期待できる。
3. 教師モデル
   • 予測精度の高い、複雑なモデルやアンサンブルされたモデルのこと。
4. 生徒モデル
   • 教師モデルをもとに作られる軽量なモデルのこと。
5. 順伝播
   • 層の値を入力層から出力層に向かって順番に計算していく過程のこと。
6. 逆伝播
   • 偏微分を出力層から入力層に向かって順番に計算していく過程のこと。
7. おまけ　勾配消失問題
   • 誤差逆伝播法が下位層(出力層から入力層)に向かって進んでいくにつれて、勾配がどんどん緩やかになっていくため、勾配降下法による更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくなること。

プルーニング

1. プルーニング(Pruning)
   • モデルの軽量化の１つである。
   • モデルの精度に寄与が少ないニューロンを削減することでモデルの軽量化、高速化が見込まれる。
2. 計算の高速化
   • 寄与の少ないニューロンの削減を行いモデルの圧縮を行うことで高速に計算を行うことができる。
3. ニューロンの削減
   • 重みが閾値以下の場合ニューロンを削減し、再学習を行う。
4. おまけ 転移学習
   • ある領域の知識を別の領域の学習に適用させる技術のこと。
   • 同じ分野で十分に学習された学習済みモデルを利用すると、少ないデータ量かつ短い時間で学習可能である。
   • データが少なくても高い精度を出せる。

MobileNet

1. MobileNets
   • Depthwise ConvolutionとPointwise Convolutionの組み合わせで軽量化を実現したもの。
2. Depthwise Convolution
   • 入力マップのチャネルごとに畳み込みを実施する。
   • 出力マップをそれらと結合(入力マップのチャネル数と同じになる)する。
   • 通常の畳み込みカーネルは全ての層にかかっていることを考えると計算量が大幅に削減可能である。
   • 各層ごとの畳み込みなので層間の関係性は全く考慮されない。
3. Pointwise Convolution
   • 1x1 convとも呼ばれる(正確には1x1xc)。
   • 入力マップのポイントごとに畳み込みを実施する。
   • 出力マップ(チャネル数)はフィルタ数分だけ作成可能(任意のサイズが指定可能)である。
4. おまけ MobileNetの種類
   • MobileNet-v1(2017)
   • MobileNet-v2(2018)
   • MobileNet-v3(2019)

DenseNet

1. DenseNet
   • 畳込みニューラルネットワークアーキテクチャの一種である。
2. DenseBlock
   • ショートカット側で畳み込みを行う。
3. ボトルネック層
   • 1x1畳み込みのこと。
4. 成長率(Growth rate)
   • どの程度新しい情報をグローバルな状態（メイン側）に追加するのかをコントロールする。
5. Transition Layer
   • 1x1畳み込みと2x2のAveragePoolingをする。
6. Global Average Pooling
   • 各チャンネル（面）の画素平均を求め、それをまとめたもの。
7. RMSProp
   • 誤差をパラメータで微分したものと再定義した学習率の積を減算する。
8. DenseNetとResNetの違い
   • DenseBlockでは前方の各層からの出力全てが後方の層への入力として用いられる。
   • RessidualBlockでは前1層の入力のみ後方の層へ入力する。
9. おまけ DenseNetのメリット
   • 勾配消失の削減
   • 特徴伝達の強化
   • 特徴の効率的な利用
   • パラメータ数の削減
   • 正則化効果の期待

BatchNorm

1. BatchNorm
   • ミニバッチに含まれるsampleの同一チャネルが同一分布に従うよう正規化する。
   • レイヤー間を流れるデータの分布を、ミニバッチ単位で平均が0・分散が1になるように正規化する。
2. Layer Norm
   • それぞれのsampleの全てのpixelsが同一分布に従うよう正規化する。
3. Instance Norm
   • さらにchannelも同一分布に従うよう正規化する。
4. Batch Normalization
   • ニューラルネットワークにおいて、学習時間の短縮や初期値への依存低減、過学習の抑制など効果がある。
5. おまけ Batch Normalization
   • 活性化関数を変更する。（ReLUなど）
   • ネットワークの重みの初期値を事前学習する。
   • 学習係数を下げる。
   • ネットワークの自由度を制約する。（Dropoutなど）

LayerNorm

1. LayerNorm
   • 入力データや重み行列に対して、入力データのスケールに関してロバストを施しても、重み行列のスケールやシフトに関してロバストを施しても出力が変わらない。
   • バッチサイズが十分に確保できない場合の対策として、全チャンネルに跨って平均・分散をとる。
   • HxWxCの全てのpixelが正規化の単位である。
   • RGBの3チャネルのsampleがN個の場合は、あるsampleを取り出し、全てのチャネルの平均と分散を求め正規化を実施する。
   • ミニバッチの数に依存しない。
   • オンライン学習やRNNに拡張可能である。
2. おまけ Group Normalization
   • Batch Normalization
   • Layer Normalization
   • Instance Normalization
   • Group Normalization

WaveNet

1. Wavenet
   • 生の音声波形を生成する深層学習モデルのこと。
   • Pixel　CNN(高解像度の画像を精密に生成できる手法)を音声に応用したもの。
   • 時系列データに対して畳み込み(Dilated convolution)を適用する。
2. Dilated Convolution
   • フィルターとの積を取る相手の間隔をあける畳み込みのこと。
3. おまけ WaveNet要点
   • 音声合成や音声生成に多く貢献している。
   • 従来のTTSを改善した。
   • パラメトリックTTSと波形接続TTSの両方を超える結果を出した。

Seq2Seq

1. Seq2seq
   • Encoder-Decoderモデルの一種のこと。
   • 文字列から文字列への変換モデルのこと。
   • 機械対話や、機械翻訳などに使用されている。
2. Encoder RNN
   • ユーザーがインプットしたテキストデータを、単語等のトークンに区切って渡す構造になっている。
3. Decoder RNN
   • システムがアウトプットデータを、単語等のトークンごとに生成する構造になっている。
4. Encoder-Decoder RNN
   • 入力用のEncoderと出力用のDecoderの2つのLSTMを組み合わせたもの。
5. HRED(the hierarchical recurrent encoder-decoder)
   • 階層的なRNNのこと。
   • 過去n-1個の発話から次の発話を生成する。
   • Seq2seqのエンコーダーとデコーダーに加えて、文脈を学習するRNNを追加する。
6. Context RNN
   • Encoderのまとめた各文章の系列をまとめて、これまでの会話コンテキスト全体を表すベクトルに変換する構造になっている。
7. VHRED
   • HREDにVAEの潜在変数の概念を追加したもの。
   • HREDの課題を、VAEの潜在変数の概念を追加することで解決した構造になっている。
8. オートエンコーダ
   • 入力されたデータを一度圧縮し、重要な特徴量だけを残した後、再度もとの次元に復元処理をするアルゴリズムのこと。
   • ニューラルネットワークの1つのこと。
9. VAE(変分自己符号化器)
   • EncoderとDecoderという2つのネットワークからなり、オートエンコーダのような構造をしている。
   • データを潜在変数zの確率分布という構造に押し込めることを可能にしている。
10. おまけ 時系列データの最適化
    • Reverse
    • Peeky

Transformer

1. Transformer
   • 自然言語処理における業界標準になっている。
   • コンピュータビジョン、音声合成の分野で活用されている。
   • 再帰構造を使わず、Attentionメカニズム（注意機構）のみを使用して入力と出力の間のグローバルな依存関係を捉える。
   • ほぼ全ての自然言語処理タスクを実行できる。
2. Transformer エンコーダ
   • 六つのエンコーダ層が積み重ねられている。
   • 複数ヘッドの自己注意層（Multi-head self-attention Layer）と位置単位の順伝播ネットワーク（position-wise fully connected feed-forward network）の2つ主要な層から構成されている。
3. 自己注意層（Self-attention Layer）
   • Query（W_q）、Key（W_k）、Value（W_v）の三つの重み行列で初期化されている。
4. 位置単位の順伝播ネットワーク（Position-wise fully connected feed-forward network）
   • 単に出力Zに対して様々な線形層とドロップアウト層を適用する。
5. 位置エンコーディング（positional encoding）
   • 単語の値と文中のその位置を再表現したもの。
6. デコーダのアーキテクチャ
   • マスク付き複数ヘッドの自己注意層（masked multi-head self-attention layer）
   • 複数ヘッドの自己注意層（multi-head self-attention layer）
   • 位置単位の順伝播ネットワーク（position-wise fully connected feed-forward network）
7. マスク付き複数ヘッドの自己注意層（masked multi-head self-attention layer）
   • 「シフトさせた出力（デコーダへの入力）」にマスクをかけて、ネットワークが次に来る単語を見ることができないようにする。
8. 複数ヘッドの注意層（Multi-Headed Attention Layer）
   • 単語の値と文中のその位置を再表現したもの。
9. おまけ Seq2seq要点
   • 翻訳タスクにおいて、Seq2seq(RNNベースEncoder-Decoderモデル)よりも早くて精度が高い。
   • RNNもCNNも使わずにAttentionのみを使用したEncoder-Decoderモデルで計算量も精度も改善し、並列計算可能である。
   • アーキテクチャのポイントは、エンコーダー-デコーダモデル、Attention、全結合層である。
   • NLPの最近のSoTAたち(BERT,XLNet,GPT-2など)のベースとなるモデルである。

物体検知

1. 物体検知
   • 画像内の物体を検知する技術のこと。
2. 物体検出手法
   • R-CNN
   • YOLO
   • SSD
3. SSD デフォルトボックス
   • 一枚の画像をSSDに読ませ、その中のどこに何があるのか予測させるとき、SSDは画像上に大きさや形の異なるデフォルトボックスを8732個乗せ、その枠ごとに予測値を計算する。
   • 位置の予測とクラスの予測を行う。
4. クラスの予測
   • その枠が囲っているのがどの物体である可能性が高いかが、予測するクラスごとに確率で表現される。
5. R-CNN
   • 物体検出タスクを行ってから、画像認識タスクを行う。
6. YOLO
   • リアルタイムオブジェクト検出アルゴリズムのこと。
   • 検出窓をスライドさせるような仕組みを用いず、画像を一度CNNに通すことで、オブジェクトを検出する。
7. おまけ 物体検出の応用例
   • ECサイトにおいて、商品画像の中の物体を検出して、自動的にサイトの適正な場所に配置する。
   • 道路交通において、道路、交差点などの車両情報と位置を検出し、道路交通状況を分析し、渋滞予測を提供する。
   • 工業において、作成した商品の外観検査、カメラ画像から不具合箇所を自動で検出する。
   • セキュリティーにおいて、多くのサイト内容に不適切な可能性のあるコンテンツ(画像や動画)を検出する。
   • 医療業界において、レントゲン写真から癌や病変領域の検出する。
   • 環境と動物において、ドローンにより、空撮画像から動物や漁船などの監視や環境の変化を監視する。

セグメンテーション

1. 画像セグメンテーション（セマンティックセグメンテーション）
   • バウンディングボックスなど矩形領域を切り出すのではなく、画像の各画素がどのカテゴリーに属するかを求める、画像アノテーションの手法のこと。
   • 画像内の全画素にラベルやカテゴリを関連付けるディープラーニングのアルゴリズムのこと。
2. セマンティックセグメンテーションの手法
   1. 画素にラベルが付けられた画像の集まりを解析する。
   2. セマンティックセグメンテーションのネットワークを作成する。
   3. 画像を画素カテゴリに分類するためネットワークに学習させる。
   4. ネットワークの精度を評価する。
3. インスタント・セグメンテーション（Instant Segmentation）
   • 画像のピクセルを「どの物体クラス(カテゴリー)に属するか、どのインスタンスに属するか」で分類する方法のこと。
4. パノプティック・セグメンテーション（Panoptic Segmentation）
   • セマンティックセグメンテーションとインスタントセグメンテーションを組み合わせた方法のこと。
5. おまけ 画像のセグメンテーション手法
   • Level set法
   • Snakes
   • eep Learningに基づく方法

為替データの扱い

1. 該当なし