よしなしごと
「で、結局。ディープラーニングの最適化って、どうして上手くいくんでしたっけ？」
「職人的な実験もいいですけど、数学的な後ろ盾がほしいって言ってましたよね」
「『シンギュラリティは近い ～全人類がいますぐ注目すべき特異点論と多目的最適化の知られざる関係～』すごくないですか」
「手始めに『Morse理論の基礎』読みましょう」
「先輩は数学科出身なので、このくらい余裕ですよね？」
てな感じで焚きつけられたのは良いのですが。ここのところ何の数学用語を耳にしても「あーはいはい、それ知ってるわー、なんか講義で聴いたはずだわー。定義も証明も忘れたけどな……！」としか呟かない人形と化していて、たいへん残念な感じです。
忘却は人に許された救いではありますが、放っておくと自分が何者だったのかすら忘れてしまってアレですね。とくに寝起きとか「ココ ドコ ワタシ ダレ オマエ マルカジリ」状態になりがちですよね。えっ、普通ならないですか、そうですか……。
それで、どうやらモース理論というのは、多様体上の関数についての理論なんだそうです。そういえばディープラーニング界には、多様体仮説とかあるらしーですね。我々が扱うデータ分布は見かけ高次元かもしれないけど、つまるところ低次元多様体の埋め込みにすぎないってゆー。
あっ、恐れながら多様体を知らない方のために定義を申し上げますと、それは空間の一種でございます。おしまい。……待って、石投げないで。えーと、日常的に空間とか呼んでいるものは、三次元ユークリッド空間 $R^3$ を指すことが多いのです。時間軸を加えて、四次元ユークリッド空間 $R^4$ を考えることもありますね。それらの座標としては、三つとか四つの実数の組を用意すればOKです。
なのですが、このユークリッド空間ではない空間というものも世には存在します。そりゃもう沢山。たとえば球面を考えてみましょう。そうです、地球の表面に生きる私たちの世界です。いくら空間が三次元……超ひも理論の十次元とかそういうのは置いておいて……だとしても、実際のところ私たちは限られた時間の中で、薄汚れた地表を這いずることしかできない虫けらのような存在じゃないですか。そんな世界で単純な二次元座標を使っていのかっていう話です。ゆ、ユニバーサルメルカトル図法を使ってみては、って？ ええと、地図はいずれにせよ繋がってるところ切っちゃうので、座標としてはよろしくないんですよ。とはいえ、ほとんどのところは繋がってるので、切れちゃったところは別の地図を用意して張り合わせるのはどうでせうか。む、座標系が複数あっていいのか、って？ まーまー、ボクときみの住まう地がいくら離れていても空は繋がってるからね、なんて、それはそれは素敵な話じゃないですか。
はい、それが多様体です。球面は、三次元ユークリッド空間に埋め込まれた二次元多様体なのです。ユークリッド空間を張り合わせたらユークリッド空間じゃなくなっちゃったけれど、そんなキメラ空間でも 微分・積分・いい気分♪ してみたいですもんね。そうです、局所的に既知の性質を押し広げて、大域的に未知の世界を作りだす。数学とは、わりとそういう営為なのです。人類の叡智！
そして、これが多様体に関して、ぱっと私が思い出せる全てです。数式は全て忘れました。忘却、それは救い（以下略
しかしですよ。
数学では何をおいても厳密な論理を求められますが、それを天下り的に受け入れているだけでは数学的構造とはお友達になれないのです。逆に、気持ちだけ心に刻んでおけば、いつだって細かい数式は導けるはずなのです。二次元方程式の解の公式なんてテストで忘れても、その場で平方完成すれば済む話じゃないですか。iがあれば、みんな解けるんですよ。√-1をそのまま受け入れてみて♪
ということで、モース理論の基礎である多様体と、その基礎である位相空間について、基本的なことをおさらいして、その気持を数式を使わず自分なりに書きなおしてみました。が、とくに「任意の」とかの量化子はかなり省いているので、きちんとしたことについては教科書を当たってください。
ああ、無駄に前振り長くなってしまいました。こういうこと連休終わりの深夜に書くから、取り留めもないことばかり……。
位相空間
参考文献は『集合・位相入門』です。
連続の概念を抽象化したものが位相ですね。距離から位相は導けますが、距離がなくても位相は入れられます。
集合が与えられた時、位相の入れ方は一意ではない、というのが初学の驚きポイントでした。
- 開集合系（位相）
- 空集合と全集合は、開集合。
- 開集合と開集合の共通部分は、開集合。
- 開集合族の和集合は、開集合。 ※開集合族の元は無限個でも良い。
- 閉集合：開集合の補集合。
- 近傍：対象の点が内部に属する集合。 ※いわゆる近さの意味はない。
- 内部（開核）：対象の集合に含まれる全ての開集合の和集合。
- 閉包：対象の集合を含む全ての閉集合の共通部分。
- 同相：二つの位相空間の間に、同相写像が存在すること。
- 開写像：開集合の像が開集合である写像
- 連続写像：開集合の逆像が開集合である写像。 ※ε-δ論法の一般化。
- 同相写像：全単射であって開写像であって連続な写像。
- 連結：開かつ閉な集合が、空集合と全集合しかないこと。
- コンパクト：開被覆が必ず有限被覆を含むこと。
- 被覆：和集合が対象の集合を含む部分集合系。
- 開被覆：全ての元が開集合である被覆。
- 有限被覆：元が有限個な被覆。
- ハウスドルフ空間：異なる点と点が、互いに交わらない近傍を持つ位相空間。
最大値・最小値の定理
コンパクトって定義だけ読んでも何が嬉しいのか分かりづらいのですが、ありがたみを実感するのがこの定理ですね。
コンパクトだと、無限の点から無限の近傍を考えて被覆しても有限の議論に落とし込めるので、共通部分操作も開集合系に閉じて使えるわけです。
- 定義域がコンパクトな実連続関数の像には、最大値・最小値が存在する。
- 定義域がコンパクトな連続写像の像はコンパクト。
- 像の被覆の各元の逆像の集合系もまた被覆。よって定義域側で有限被覆が選べる。
- ハウスドルフ空間上のコンパクト集合は閉集合。
- 任意の補集合の元について、コンパクト集合の各元と分離する開近傍対系を考えると、コンパクト集合側で有限被覆を取ることができて、その対となる開近傍系の共通部分は補集合に含まれる開近傍。よって補集合は開集合。
- 実数上のコンパクト集合は有界。
- 開区間で被覆すると、開空間の有限被覆が取れるため、有界。
- 実数上の有界閉集合には、最大値・最小値が存在する。
- 有界なため上限が存在する。これが補集合に属すると仮定すると、補集合は開集合なためその内部で近傍があり、上限より小さい上界の元が取れてしまって矛盾。よって上限が属するため最大値。最小値も同様。
- 定義域がコンパクトな連続写像の像はコンパクト。
多様体
参考文献は『多様体の基礎』です。
とりあえず局所座標を張り合わせて多様体を構成するわけですが、微分という操作の先の接ベクトル空間をどうやって構成しましょうか、三次元ユークリッド空間内の球面とかだと接平面も想像しやすいのですけれど外の空間を仮定できるわけでもないし、といった時に線形汎関数の空間を持ち出してくるのがいかにも代数っぽいですね。しかも局所座標の取り方に依らないっていう。
- m次元位相多様体：どこでもm次元座標近傍があるハウスドルフ空間。
- m次元座標近傍： $R^m$ への同相写像がある近傍。
- m次元局所座標：座標近傍の像での $R^m$ 座標。
- m次元 $C^r$ 級多様体：座標近傍の重なりに $C^r$ 級の座標変換があるm次元位相多様体。
- m次元座標変換：局所座標から局所座標への同相写像。
- （多様体上の）$C^s$ 級関数：座標近傍から実数への関数が $C^s$ 級。
- （ユークリッド空間上の）$C^s$ 級：s階までの偏導関数が存在して連続。
- $C^s$ 級微分同相：二つの多様体の間に、 $C^s$ 級微分同相写像が存在すること。
- $C^s$ 級写像：局所座標から局所座標への写像が $C^s$ 級。
- $C^s$ 級微分同相写像：全単射であって、対象の写像も逆写像も $C^s$ 級。
- （多様体から多様体への）微分：接ベクトル空間から接ベクトル空間への写像。すなわち曲線の速度ベクトルを曲線の速度ベクトルに移す。 ※局所座標の取り方に依らない。
- 曲線：実数の区間から多様体への写像。
- 方向微分：開近傍上の関数から実数への線形汎関数であって、積の微分法則を保つもの。
- 接ベクトル空間：局所座標の各軸による方向微分が張る空間。 ※局所座標の取り方に依らない。
- 速度ベクトル：関数を、曲線との合成関数の微分に移す、接ベクトル。
- ヤコビ行列：局所座標から局所座標への1階偏導関数の行列。
- 埋め込み：元の多様体と像の部分多様体が同相な、はめ込み。
- はめ込み：微分が単射である、多様体から多様体への写像。 ※局所的には埋め込み。