Link > Accurately computing running variance > サンプルが到着するに連れ標準偏差を計算するには | np.append()よりはlist追加が速い

動作環境

GeForce GTX 1070 (8GB)
ASRock Z170M Pro4S [Intel Z170chipset]
Ubuntu 16.04 LTS desktop amd64
TensorFlow v1.2.1
cuDNN v5.1 for Linux
CUDA v8.0
Python 3.5.2
IPython 6.0.0 -- An enhanced Interactive Python.
gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609
GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu)

TensorFlow > TFRecords > Queue and Threadsでの読込み > 読込みを進めるに連れ、読込み時間が増加する > 犯人はnp.append()
においてnp.append()を繰返すにつれ、処理時間が増加していく状態である。

np.append()を使わない方法として以下が考えられる。

1. ファイル出力 (or 標準出力のリダイレクト)
2. 逐次的なmean, stddev計算
3. np.append()でなくPython listを使う
   • https://stackoverflow.com/questions/7133885/fastest-way-to-grow-a-numpy-numeric-array

2に関しては、以下を見つけた。
https://www.johndcook.com/blog/standard_deviation/

1の方が簡単そう。
と思ったが3でもいいかもしれない。