確率論の躓きポイント
私は、長年エンジニア（プログラマ）を仕事としていますが、
10年ほど前から、確率や機械学習を勉強しています。
その過程で理解出来なかったものの中で、AIを利用してやっと理解出来たものについて備忘録的に司会していきます。
今回は、10年間理解に苦しんだ上極限についてです。
AIでの学習
余談ですが、これまで理解出来なかったことがAIに質問することで理解できるということが多くなりました。家庭教師や上司と違い、心置きなく徹底的に質問出来るというのは、学習に大いに役立つと実感しています。
今後、学習というものは本質的に変化していくでしょう。
上極限
$$\limsup_{n\to\infty} A_n = \bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k$$
私がいきなり躓いたのは上記の式です。
左辺と右辺の意味は個別にわかったのですが、イコールで結ばれる意味が分かりませんでした。
右辺、左辺それぞれの意味と、なぜイコールで結ばれるかを記載します。
右辺の集合表記
$$\bigcap_{n=1}^{\infty} \bigcup_{k=n}^{\infty} A_k$$
ステップ1
内側の和集合 $\bigcup_{k=n}^{\infty} A_k$
まず $n$ を1つ固定して、
$$B_n = \bigcup_{k=n}^{\infty} A_k = A_n \cup A_{n+1} \cup A_{n+2} \cup \cdots$$
とおきます。$\omega \in B_n$ であるとは、$\omega \in A_k$ となる $k \ge n$ が少なくとも1つあることです。つまり $B_n$ は「$n$ 番目以降に、$A_k$ が少なくとも1回起こる」という事象です。
$B_n$ は $n$ が大きくなるほど小さくなります。
$$B_1 \supset B_2 \supset B_3 \supset \cdots$$
$B_{n+1}$ は $B_n$ から $A_n$ を和集合の対象から外したものなので、条件が厳しくなるからです。
ステップ2
外側の共通部分 $\bigcap_{n=1}^{\infty} B_n$
次に、すべての $n$ について共通部分をとります。
$$\omega \in \bigcap_{n=1}^{\infty} B_n \iff \text{すべての } n \text{ について } \omega \in B_n$$
言葉にすると、次のようになります。
どんなに大きな $n$ を選んでも、$n$ 番目以降に $A_k$ がまた起こる。 ->
$A_k$ が無限回起こる。
右辺の集合表記
$$\limsup_{n\to\infty} A_n$$
ステップ1
数列 $(a_n)$ に対して、$n$ 番目以降の sup をとります。
$$s_n = \sup_{k \ge n} a_k = \sup{a_n, a_{n+1}, a_{n+2}, \dots}$$
$n$ を増やすと sup をとる対象の集合が小さくなるので、$s_n$ は単調減少です。
$$s_1 \ge s_2 \ge s_3 \ge \cdots$$
ステップ2
したがって単調収束定理により $s_n$ の極限が存在し、それを上極限と定義します（値が $\pm\infty$ になる場合も許します）。
$$\limsup_{n\to\infty} a_n = \lim_{n\to\infty} \sup_{k \ge n} a_k = \inf_{n \ge 1} \sup_{k \ge n} a_k$$
つまり上極限は「$n$ 番目以降の上限が、$n \to \infty$ で落ち着く先」です。
なぜイコールなのか？
$A_k$ が無限回起こる。
$n$ 番目以降の上限が、$n \to \infty$ で落ち着く
この二つがなぜイコールなのかが、長年の疑問でしたが、下記の考え方で腹落ちしました。
「事象が無限回起こる」とは
事象が起こる回が、限りなくたくさんあるということです。
言い換えると、どこまで先へ進んでも、その先でまた必ず起こるということです。毎回起こる必要はありません。途中で起こらない回がいくらあってもかまいません。大事なのは、ある時点を境に二度と起こらなくなる、ということがないことです。
逆に、起こる回が有限個しかなければ、最後に起こった回があります。その回より後ろでは、もう二度と起こりません。
「最高到達点が下がっていき、その行き着く先が上極限」とは
数の並びがあるとき、ある番号から後ろだけを見て、その中で一番高いところを考えます。これが最高到達点です。
見始める番号を後ろへずらしていくと、見る範囲から前のほうの項が外れていきます。外れた項の中に高いものがあれば、最高到達点は下がります。外れた項がそれほど高くなければ、最高到達点は変わりません。どちらにしても、上がることはありません。見る範囲が狭まるだけで、新しく加わる項はないからです。
こうして下がり続けた最高到達点が、最終的に行き着く先が上極限です。
この操作によって、前のほうで一度だけ出た高い値は、見る範囲から外れて消えていきます。最後まで残るのは、どこまで先へ進んでも何度でも現れる高さだけです。
2つの説明のつながり
事象の場合も、同じ操作をします。
ある番号から後ろだけを見て、「その中のどこかで事象が起こるか」を考えます。これが、数の並びの「最高到達点」にあたります。
見始める番号を後ろへずらしていくと、前のほうで起こった回は見る範囲から外れていきます。もし起こる回が有限個しかなければ、最後に起こった回を過ぎた時点で、「その先で起こる」が成り立たなくなります。そして、それ以降は二度と成り立ちません。これが、最高到達点が「下がる」ことにあたります。
一方、起こる回が無限にあれば、どこまでずらしても、その先にまだ起こる回が残っています。「その先で起こる」は、最後まで崩れません。これが、最高到達点が「下がり切った先にも残っている」ことにあたります。
まとめ
どちらの説明も、考え方は同じです。
見始める番号をどんどん後ろへずらし、前のほうで一時的に起きたことは捨てていく。それでも最後まで残り続けるものを取り出す。
数の並びでは、最後まで残る高さが上極限です。事象では、最後まで「その先でまた起こる」が残り続けることが、「無限回起こる」ことです。