CPUについてわからず調べていたところ、「TPU」に遭遇し、TPUのTにあたる「テンソル(≒多次元データ)」、「NPU」とその関係性、NPUのNにあたる「neural」、「neural network」など自分にとって未知な事柄にぶつかり合った。
今回、TPUを理解するために必要な「ニューラルネットワーク」について調べたことを書き記したい。
きびだんご持っていくのを忘れた世界線の桃太郎はこんな感じなんだろうなと感じた。
ニューラルネットワークとは
ニューラルネットワークとは、"人間の脳内の神経細胞同士の繋がりを繋がりを再現した数理モデル"のこと。
「ニューラル」という字のごとく、人間の神経細胞(脳)にヒントを得たアルゴリズムの一種とのこと。
ニューラルネットワークは、ニューロンと呼ばれる相互接続されたノードで構成される。
各ノードとの学習プロセスにより予測とパターン認識が可能となり、画像認識、自然言語処理、機械翻訳などのさまざまな応用分野で幅広く採用されています。
「ニューラル ネットワークとは」、GoogleCloud
ニューラルとは
Neural networkの"neural"とは、"neuron"の形容詞形で、「神経(系)の」と言う意味を持つ。(参照：neuralとは 意味・読み方・使い方）
シナプスとは
神経系といえば、シナプス。
あれ？シナプスって触手の部分だっけ？根っこの部分だっけ？とわからなくなったので記録。
画像：Synapses and Neurotransmission
シナプスはヒゲ根のような部分。一つではなくて複数。
機械学習・ニューラルネットワーク・ディープラーニング?
ここまでで、「ニューラルネットワーク」とは、人間の脳を数理化した学習アルゴリズム的な存在であるとはわかった。
しかし、この「ニューラルネットワーク」がどこを目指しているのか、どこに位置づけられるのか調べて、震撼した。
これはAIにおける機械学習、ディープラーニングと密接に関わっていたのだ。
下記の図をお借りした。
「機械学習とニューラルネットワークの違いをわかりやすく解説！」、AInow
まとめ
CPUについて調べていたはずなのに、AIの機械学習に着地するとは思いもしなかった。
また、今回は概要だけにしか触れていないのだが、「ニューラルネットワーク」は脳を模している通り脳に前頭前野、右脳、左脳などの役割があるように、ニューラルネットワークが指し示すネットワークも一つではないことがわかった。
下記に借用した画像の表にある通り、「ニューラルネットワーク」には複数のカテゴリ？分類があり、「CNN」「RNN」「ANN」などがある。
そこを紐解いていくことも、「NPU」「TPU」を理解する一助になるのだと感じた。
しかし、ざっとした見解としては「ニューラルネットワーク」と言う脳を模した宇宙が存在しているということだ。
画像参照：「ANN vs CNN vs RNN: Neural Networks Guide」、LEVITY
参考にした記事