人工知能用ハード
facebookの議論から、人工知能用ハードについて、思ったことを少し書いてみます。
ポイントは、PEZYの齊藤さんの発想です。
目指しているのは、CPUコアよりもインターコネクトを遥かに重視した構造です。
インターコネクトをどうしたらいいかですね。
このニューロンの説明を参考に考えてみました。
２重のインターコネクト（２重のパケット）はどうだろうが結論です。
神経細胞は、軸索を伸ばして、樹状突起でつながります。この部分をハード的に、柔軟につくれるかが重要です。
| 神経細胞 | ハード | ||
|---|---|---|---|
| 1 | 細胞体 | CPU+メモリ | 分散メモリ型MIMD |
| 2 | 軸索 | ネットワーク | 対象１００億個？もっとすくなくてもいいかも、 |
| 3 | シナプス （樹状突起結合） |
CPUとの接続 | 対象１万個？ |
軸索、シナプス結合部分は、ルーティングで対応するのが妥当だと思います。
スケールする場合はIBMのようにクロスバーで押し切るのはちょっとむずかしい気がします。
軸索、シナプスは、２重のパケットになっていればいいでしょう。技術的にも問題はあまりない気がします。
おそらく、神経細胞にとって、２重化は意味あることですが、CPU的に意味あるかは別問題なんでしょう。１００コアで十分な計算でも、１００万コア必要な計算でも、動的に対応できるのが、重要ならこのような仕組みが役立つかなと思います。