背景

頻繁にごっちゃになっている印象があるので共有します。

違い

まず、Transfer LearningとFine-Tuningの共通点としては、学習済みのモデルを使用して別のタスクができるようにしていることです。違いは、層を固定するか否かです。

例えば、下のような骨格を持つ学習済みのモデルがあったとします。（Foreward Propagation は左から右へ進む）これに対して、Transfer Learning 及び Fine-Tuningを行います。

Transfer Learning

Transfer Learningでは基本的には「別のタスクをするために置き換えた・追加した層」以外の層を固定します。
なので、データが少ないときに使用されるケースが多いです。

Fine-Tuning

Fine-Tuningでは、「別のタスクをするために置き換えた・追加した層」以外の層の重みを学習済みのモデルの重みで初期化し、各層は固定しません（一部固定するケースはあります）。
なので、なんとなく分かるかと思いますが、学習できる層が増えるため、Transfer Learningと比べて必要にデータが多くなってきます。

Writed by F.K(20代・入社3年目)