LoginSignup
0
3

More than 3 years have passed since last update.

論文:動的な自然風景のために、ディープラーニングを使って神経から生成するよっていう論文(Neural Encoding and Decoding with Deep Learning for Dynamic Natural Vision )

Posted at

どういう論文なの?ざっくり

機械学習(ニューラルネットワーク,CNN)は、人間の脳を模倣してきた。それを利用すると、そこから画像を見たときの脳内反応(MRI)を再現できるようになった!そして逆もできるようになった!つまり逆とは、MRIの反応結果から、ある画像の特徴量を予測できる!ということ。

今まで模倣と言われていたけれど、それが比喩ではなく本当にすごい精度で模倣していたんだなぁと裏付けられる論文な気がしました!

アブストと自分的まとめ

畳み込みニューラルネットワークは、脳みその画像処理機構を真似しているとされたが、それがきちんとわかってきたということ。
つまり、CNNの特徴量から→fMRIを作成できるし、逆もまた然りなことが最近の研究でわかってきた!
CNNは、時系列とかを考慮してないのに学習してるのがすごい!end to end ってこういうことなのかなぁって思った。
CNN と fMRIの双方向性を補強する論文。
また、CNNはおなか側だけでなく(こっちはすでに完璧に予測している)、背面側のfMRIも上手に予測したよ!程度は低いけど。
fMRI信号を直接デコードすることで、視覚空間と意味空間の特徴表現を推定し、視覚的再構成と意味的分類を行うことができました。
自分の意見:これはあくまで、fMRIと同レベルまできたというだけの話であり、FMRIも完全にはわかっていないはず。あくまで別のやり方で、同じくらいわかるようになってきた、つまり手法Aと手法Bで矛盾が生じなかったという説明にしかならないと思われる。ただそれだけで、畳み込みニューラルネットワークすごい!とは言い切れない。その可能性もあるけど。

結果

CNNとfMRIの関係性についての結果。CNNと視覚野は、低レベルの視覚的特徴(例えば網膜トピ)と高レベルの意味的特徴(例えば顔)の類似した表現を共有しているだけでなく、抽象度の高い複数の中間レベルの視覚情報の階層的な表現も共有している(図2)
神経を再現することについての結果と妥当性。CNNの結果から、どの脳領域が活性化しているかを線形回帰モデルでやってみた。ラベルづけで分類する。

0
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
3