はじめに

numpyやpytorchを使っていると、頻繁に3次元以上の配列に遭遇しますよね。
人間の頭では、3次元以上を想像するのはとても難しいです。

その一方で、どんな多次元配列でも、所詮はメモリ上に一列に並んでいます。
それを多次元配列を使って、我々がアクセスしているだけ、と考えればそれほど怖くなくなります。
これを意識すると、ブロードキャストとかも、直感的に理解できますし、
なぜブロードキャストできない場合があるのかも、理解できます。
（よくshapeが悪い！とエラーで怒られても、それほど焦らずに済みます。）

メモリ配置

まず1次元配列

import numpy as np
np.random.rand(3)
# >> array([0.67531291, 0.39123613, 0.65122989])

1次元配列は、そのままの順番で一列に並びます。
基本ですが、一つ要素を移動すると、アドレスが一つずれます。

2次元配列（行列）

import numpy as np
np.random.rand(3,3)
# >> array([[0.23131406, 0.80539163, 0.72888864],
# >>        [0.30545592, 0.1298448 , 0.51332658],
# >>        [0.39577805, 0.27866544, 0.52592152]])

2次元配列は、まず横方向の要素がメモリ上に並べられ、
その次に、次の行のデータが並べられます。
添え字の最も右側をインクリメント(横移動)すると、アドレスが一つずれます。
添え字の右から２番目をインクリメント(縦移動)すると、アドレスが横要素の個数分ずれます。

3次元配列

import numpy as np
np.random.rand(3,3,3)
# >> array([[[0.25302496, 0.42355715, 0.5267075 ],
# >>         [0.5960759 , 0.95850513, 0.95984181],
# >>         [0.87569986, 0.92117938, 0.50016966]],
# >> 
# >>        [[0.24515091, 0.87402237, 0.65732351],
# >>         [0.40590343, 0.27378174, 0.16059929],
# >>         [0.61030218, 0.97677065, 0.99856145]],
# >> 
# >>        [[0.96181558, 0.06190622, 0.57253151],
# >>         [0.21805162, 0.88300779, 0.77791324],
# >>         [0.455423  , 0.63827398, 0.90376446]]])

3次元配列は、このように並べられます。

添え字の最も右側をインクリメント(横移動)すると、アドレスが一つずれます。
添え字の右から２番目をインクリメント(縦移動)すると、アドレスが横要素の個数分ずれます。
添え字の右から３番目をインクリメントすると、アドレスが横要素x縦要素の個数分ずれます。

このように、添え字が左に行くに従い、メモリを大きく移動します。

4次元配列

4次元以上も基本的には、同じ構成になります。
図示することは難しいですが、メモリ上は一列に並んでいるだけとなります。
よくあるデータ構造の例としては、以下のようなshapeのものがありますね。

shape = (バッチ数, バッチサイズ, RGBチャネル数(3), 縦画素数, 横画素数)
# shape = (バッチ数, バッチサイズ, 縦画素数, 横画素数, RGBチャネル数(3)) # RGBの場所は一番右の場合もある

演算上、まとめて使う可能性のある成分は、右側の要素に置いておく方が、
メモリ上近くに並ぶため、計算上効率が良いです。

例えば、画素間でしかConvolutionをしない場合は、画素情報成分を右側に、
チャネル間でしかConvolutionをしない場合は、チャネル成分を右側に持ってきた方がよいです。

また、pytorchにreshape, view + contiguousがあるのは、ここら辺のメモリ配置が関係しています。

集約のaxisとの関係

numpyの集約(sumやmeanなど)するときに指定するaxisは、
axis=0の時には最も左側のメモリ的に遠い成分の添え字が集約されます。
(分かりやすさのため、keepdims=Trueにして演算した例を示します)

A = np.random.rand(3,3,3)
A.shape
# >> (3, 3, 3)
A.sum(axis=0, keepdims=True).shape
# >> (1, 3, 3)
A.sum(axis=1, keepdims=True).shape
# >> (3, 1, 3)

axisのない集約をどう計算するか

W.I.P.

ブロードキャストについて

W.I.P.