ICML2022の枝刈り論文 (1)

概要

この記事では、ICML2022の枝刈り論文を紹介します。¹

PAC-Net: A Model Pruning Approach to Inductive Transfer Learning

概要：PAC-Net. Inductive Transfer Learning (10~100など非常に少量データでの転移学習)の手法。
研究機関：Samsung
新規性：Inductive Transfer LearningでSOTA。
キモ：Pretrained modelを刈って空いた所に新しいタスクを学習させる。その際正則化項をつける。


微分方程式でバネ・マス・ダンパ系を学習する例だと、基本的な運動をsourceで、ダンパの寄与をtargetで学習する。
評価：微分方程式や回帰問題で実験した。

1. 画像や数式は論文から引用しています。 ↩