E資格用語の備忘録
シラバス2024 4.深層学習の応用 (2)生成モデル ⅱ.オートエンコーダー
VAE
生成モデルの一種であり、ニューラルネットワークを使用してデータの潜在的な表現を学習するために用いられる。VAEは、エンコーダーとデコーダーという2つの主要な部分から構成されている。
エンコーダーは、入力データを潜在空間の確率分布（通常はガウス分布）のパラメータに変換する。
デコーダーはこの潜在表現から元のデータを再構築する。
潜在空間におけるデータの分布を学習し、新しいデータの生成やデータの圧縮表現を行うことができる。
Reparameterization Trick
確率的勾配降下法などの最適化アルゴリズムを用いてVAEを学習する際に使用される手法。
はエンコーダーが潜在変数のサンプリングを行うが、このサンプリング操作は微分不可能であり、勾配の計算が困難。Reparameterization Trickは、このサンプリング操作を確率分布のパラメータを使って再パラメータ化することで、微分可能な操作に変換し、勾配の計算を可能する。
変分下限
真のデータ分布とVAEがモデル化する分布（エンコーダーとデコーダーによって生成される）の間の距離を定量化する。
変分下限を最大化することは、VAEが真のデータ分布に近づくように学習することを意味する。
変分下限は、KLダイバージェンスと再構築誤差の和として定義される。
KLダイバージェンスは、モデル化する分布と真の分布の違いを測定し、再構築誤差は、デコーダーが元のデータを再現する際の誤差を表す。