はじめに
以下の記事（2020.02.25）、
https://xtech.nikkei.com/atcl/nxt/column/18/01218/022000001/
『深層学習の「ゴッドファーザー」3人が指摘した、現在のAIに足りない点とは』
の、以下(引用)のルカン氏の発言、
「ジェフ（ジェフリー・ヒントン氏）は数十年にわたり『教師なし学習』の重要性について議論していた。私はこれまで気に留めていなかったが、考えを改めた――」
を読んだとき、
正直、『『教師なし学習』の重要性』は、あまり、面白い観点でないと思った。
『教師なし学習』というものが、
データセットで、適当にラベルを与えずに学習して、どうこうというのが、管理できたデータでの作業
で、意味がある気がしていなかっただめであるが。。。
しかし、最近、
以下の資料とかを、ながめていると、
Energy-Based Self-Supervised Learning
http://helper.ipam.ucla.edu/publications/mlpws4/mlpws4_15927.pdf
深層学習で関心を持つべきは、このあたりのような気がしてきた。 ので、記事にする。
この
ページのスライドを、しばらく、眺めてみたい気がした。
| 上記のスライド(pdf)は、こんな人にお薦め |
|---|
深層学習は、大量のデータを学習しているだけで、何の知恵も技術もない、（ 役には立つんだろうが。。。）くだらない と感じている人 |
ページ７(
)
（出典：http://helper.ipam.ucla.edu/publications/mlpws4/mlpws4_15927.pdf）
ここでは、
子供の生まれてから１４カ月までの成長を説明している。
深層学習の大量のデータセットの学習とは異なる学習手段があるはず、と想像したくなるのは、確かに、誰もそう感じるところだと思う。
ページ２２（
)
（出典：http://helper.ipam.ucla.edu/publications/mlpws4/mlpws4_15927.pdf）
そのうち、理解できると思いますが、いっさい、理解できません。
Energy Functionというのを考えてみました、というのはわかるが。。。ネーミングにしか見えないので。
まとめ
この記事、完全な書きはじめです。
ただ、↓の資料は、見る価値があるのではないでしょうか。
Energy-Based Self-Supervised Learning
http://helper.ipam.ucla.edu/publications/mlpws4/mlpws4_15927.pdf