LoginSignup
2
0

Transfer LearningとFine-Tuningの違い

Posted at

背景

頻繁にごっちゃになっている印象があるので共有します。

違い

まず、Transfer LearningとFine-Tuningの共通点としては、学習済みのモデルを使用して別のタスクができるようにしていることです。違いは、層を固定するか否かです。

例えば、下のような骨格を持つ学習済みのモデルがあったとします。(Foreward Propagation は左から右へ進む)これに対して、Transfer Learning 及び Fine-Tuningを行います。
image.png

Transfer Learning

Transfer Learningでは基本的には「別のタスクをするために置き換えた・追加した層」以外の層を固定します。
なので、データが少ないときに使用されるケースが多いです。
image.png

Fine-Tuning

Fine-Tuningでは、「別のタスクをするために置き換えた・追加した層」以外の層の重みを学習済みのモデルの重みで初期化し、各層は固定しません(一部固定するケースはあります)。
なので、なんとなく分かるかと思いますが、学習できる層が増えるため、Transfer Learningと比べて必要にデータが多くなってきます。
image.png


Writed by F.K(20代・入社3年目)

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0