はじめに
みなさまお元気でしょうか。うっふん。
最近めっきり記事を書いていないので、ちょっと今日読んだ記事についてかく、くらいの軽い記事を書きたいと思います。
machine learningは色々研究されていますが、2013年頃からmachine unlearningも研究されているようですね。
不勉強であまり知らなかったので、今回はこちらの記事をざっくり読み解いて、周辺情報を調べて、最後に感想を述べようと思います。
Unlearningの必要性
覚えたものを忘れるmachine unlearningの必要性は、秘密情報や危険な情報、嘘などを学習から取り除くためです。
Unlearningの評価
基本的には、unlearningしたモデルが、忘れたいものをそもそも学習していないモデルとどれだけ近いかを測ります。
NeurIPS 2023 Machine Unlearning Challengeｃではこちらに記述ありますが、ダウンロードできず、詳細なメトリックは不明でした。
NeurIPS 2023 Machine Unlearning Challenge
上記詳細記事にはありますが、面白かったのは、Googleから提案されたNeurIPS 2023 Machine Unlearning Challengeというunlearningのコンペがあり、以下のような手法が提案され、精度が高かったのは、「addition of noise, weight re-initialization, KL regularization, and fine-tuning on the retain set」だったとのこと。
- Gradient ascent on the forget set;
- Gradient descent on the retain set (and hope that catastrophic forgetting takes care of unlearning);
- Gradient descent on the forget set, but with uniformly random labels (to “confuse” the model);
- Minimize KL divergence on outputs between unlearned model and original model on the retain set (to regularize unlearned model performance on unrelated data);
- Add some noise to the weights;
- Re-initialize weights that had similar gradients on the retain set and forget sets, and finetune these weights on the retain set;
- Prune weights by L1-norm and fine-tune on the retain set;
- Reset first/last 𝑘 layers and fine-tune on the retain set; and
- Heuristic/arbitrary combinations of the above.
ちなみに優勝したのは、上記4と8を組み合わせたもの。すなわち、(1)忘れたいサンプルを覚えておくべきサンプルと見分けがつかないようにする忘れるステージと(2)覚えておくべきデータでファインチューニングする、という手法。
最後に
大事なことは、目的で、実は今回の目的のためには、忘れることが必要ではなく、言ってはいけないことや嘘や間違いだ、として学習すべきかもしれないことです。
しかしそうすると、何もわかっていないように見えるLLMが、実は重要情報を抜き出すためにとぼけているだけ、ということもあり、ますますAIというものが恐ろしい知能をもつ脅威が見えてきますね。