まだ、平均μや分散σ^2を計算するために、すべての要素を保持していますか？

すべての要素を保持しておく必要はありません。
そう、要素数と、直前のμとσを保持しておけば。

まずは結論

n番目までの平均、分散

\mu_{n}と\sigma_{n}^2

が既知であれば、そこに、下記の複数の要素を追加したい場合、

x_{n+1}, x_{n+2}, .. x_{n+k}

平均

\mu_{n+k} = \frac{1}{n+k}(n\mu_{n} + \Sigma_{n+1}^{n+k}x_{i})

分散

\sigma_{n+k}^2 = \frac{n(\sigma_{n}^2+\mu_{n}^2)+\Sigma_{n+1}^{n+k}x_{i}^2}{n+k} - \mu_{n+k}^2

で計算できる。

基本的には、[3] にあるように、

分散は「自乗の和」から「和の自乗」を引いたもの

であり、「自乗の和」の部分を式変形することで導出できる。

解説 (作成中。近日補完)

定義

n番目までの平均は

\mu_{n} := \frac{1}{n}\Sigma_{1}^{n}x_{i}　　・・・(1)
\\

分散は

\sigma_{n}^2 := \frac{1}{n}\Sigma_{1}^{n}x_{i}^2 - \left (\frac{1}{n}\sum_{1}^{n}x_{i}  \right )^{2}　　・・・(2)
\\
= \frac{1}{n}\Sigma_{1}^{n}x_{i}^2 - \mu_{n}^2　　・・・(2)'

と定義されます。
この時点では、計算するためにすべての要素が必要です。

逐次計算！

n+1番目の要素を加えるにはどうするか
[1][2]にも記載があるように、

\mu_{n+1} := \frac{1}{n+1}(n\mu_+x_{n+1})　　・・・(3)
\\
\sigma_{n+1}^2 := \frac{n(\sigma_{n}^2 + \mu_{n}^{2})+x_{n+1}^2}{n+1} - \mu_{n+1}^{2}　　・・・(4)

と計算できます。逐次計算してる感満載。

つまり…下記だけ保持しておけばよい！

n, \mu_{n}, \sigma_{n}^2

断捨離である。

軽く解説

(3)は、意外と単純で：

n番目までの総和を“復元”

(n+1)番目を足し込む
改めて(n+1)で除算

としているだけ。
(4)は

Var[X] = E[X^2] - \mu_{n}^2

をもとに、式変形することで導出できます。

これ以降、近日追記予定

[1] 平均と分散を逐次的に計算するアルゴリズム
[2] 分散の逐次更新
[3] 分散の意味と二通りの計算方法