Youtube で見つけたFew-Shot Learningの解説動画の聴講メモ。

Basic Concepts of Few-Shot Learning

Few-Shot Learningの定義 : 少ないサンプル数で分類や回帰をするもの
Few-Shot Learningの目的 : 物体の同質性や相違性を学ぶこと
- 教師あり学習のような、学習データを記憶することとは異なる
データ
- Training Set : 学習データ / 量が多い / DNNを学習する
- Support Set : ラベル付きの少数のサンプル / DNNの学習は不可
- Query Image : 評価用データ
メタ学習とFew-Shot Learning
- メタ学習 : Learn to Learn(学習することを学ぶこと)
  - ex) 初めてカワウソを見た子供に、いろんな動物の画像を含んだSupport Setを見せて、カワウソがどれかを言い当てさせる
  - Support Setの画像が各動物一枚ずつ＝One shot Learning
教師あり学習 VS Few-Shot Learning
- 教師あり学習
  - 評価データはモデルにとって未知のデータ
  - 評価データはモデルにとって既知のクラスに属している
- Few-Shot Learning
  - 評価データはモデルにとって未知のデータ
  - 評価データはモデルにとって未知のクラス
k-way n-shot Support set
- k-way : Support Setのクラス数
  - way数が多いほど、モデルにとって難しい問題となる
- n-shot : Support Setのクラスごとのサンプル数
  - shot数が多いほど、モデルにとって簡単な問題となる
メカニズム
- 1. Similarity 関数(画像ペアの類似度を測る関数)をTraining Setで学習する
- 2. 1.で作成した関数でQuery Imageと各Support Setを比較し、もっとも類似度が高い画像を探す
よく使われるデータセット
- Omniglot
  - 50のアルファベットについて、手書き文字画像20サンプルずつ存在
- Mini-Imagenet
  - 100クラスの物体について、それぞれ600サンプルずつ存在

Siamese Network

手法１ : Learning Pairwise Similarity Scores
- Training Set
  - Positive Samples
    - どの画像ペアが同じクラスかを学習させる
  - Negative Samples
    - どの画像ペアが異なるクラスかを学習させる
  - Positive SamplesとNegative Samplesは同数となる
- モデル
- 順伝播
  - 以下はPositive samplesの例
  - Negative Samplesの場合はTargetが0となる
  - Lossはクロスエントロピーなどで算出
- 逆伝播
- 評価時
手法2 : Triplet Loss
- Training Setの取得方法
  - Anchor / Postive / Negativeを選択する
  - AnchorとPostiveは同クラス、Negativeは左記らと異なるクラス
- Lossのイメージ
  - d+は小さくなることが期待される
  - d-は大きくなることが期待される
- 潜在空間でのLossのイメージ
- マージンの設定
- Lossの算出方法
-　評価時
要約
- 学習はSiamese networkをふ大規模なtraining setを用いて行う
  - Siamese networkは対象物の類似性や相違性を学習する
- Support setを与える
  - k-way は k classであることを指す
  - n-shotは各クラスがnサンプルあることを指す
  - training setはk classを含まない

Pretraining and Fine Tuning

予備知識
- コサイン類似度
  - 二つのベクトルの類似度の計算方法
  - 二つのベクトルの内積を、それぞれのベクトルのノルムを乗算したもので除算する
    - しかし、ノルムは１なので実質的にコサイン類似度は内積
  - コサイン類似度は以下の図xの正射影とも理解できる(ノルムが1であることに注意)
  - もしノルムが1でない場合は、正規化する
- Softmax関数
  - ベクトルを確率分布に変換する関数
  - もっとも大きい入力を相対的により大きく、小さい入力を相対的により小さく変換する
事前学習
- 事前学習時の学習方法については、以下がある。
  - 一般的な教師あり学習
  - Siamese Networkを用いた学習
- 評価方法
  - 以下の3-way 2-shotの例では以下を行う
    - 事前学習した特徴抽出器で画像からベクトルを生成
    - クラスごとに平均
    - 正規化

転移学習
- 5way 1shotで2~7%の改善が見られた
- 5way 5shotで1.5~4%の改善が見られた

要約
- 事前学習したCNNでのFew-Shot評価は以下の工程で行える。
  - Step1(事前学習)
    - CNNを大規模なtraining dataで学習する
  - Step2(評価)
    - Support Setの画像を特徴ベクトルへと変換する
    - 各クラスの平均特徴ベクトルを作成し、それぞれを行ベクトルとする行列Mを作成
    - Queryと行列Mの積にバイアス項を加え、Softmaxを適用する
- 転移学習をする場合,
  - Step1(事前学習)
    - CNNを大規模なtraining dataで学習する
  - Step1-dash(転移学習)
    - Support Setで学習する
  - Step2(評価)
    - Support Setの画像を特徴ベクトルへと変換する
    - 各クラスの平均特徴ベクトルを作成する、それぞれを行ベクトルとする行列Mを作成
    - Queryと行列Mの各行とのコサイン類似度を計算し、Softmaxを適用する

Few-Shot Learning Basic Concepts

Basic Concepts of Few-Shot Learning

Siamese Network

Pretraining and Fine Tuning