雑多な論文のメモ

Neural Discrete Representation Learning

https://arxiv.org/pdf/1711.00937.pdf
Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu

DeepMind による。VQVAEを提案。

• encoder の出力が離散
• 通常のVAEのように事前確率を固定せず、学習する
• Posterior collapse を回避
• 事前に埋め込みベクタを用意しておき、エンコーダの出力と最も近いものをzとする。エンコーダをこの埋め込みとの差分で訓練
• 事前確率は自己回帰的に算出する。VQVAEの訓練中には事前確率を固定。訓練後に再調整する？
• 画像にはPixelCNNを、オーディオにはWaveNetを使用

事前に埋め込みを作る方法がよくわからない。。

Generating Diverse High-Fidelity Images with VQ-VAE-2

Ali Razavi, Aaron van den Oord, Oriol Vinyals

• VQ-VAE-2 Vector Quantized Variational AutoEncoder
• 上の論文で提案されたVQ-VAEを大規模な画像生成にて形容

LEARNING FLAT LATENT MANIFOLDS WITH VAES

• VAEの事前分布は単純すぎるのでエンコーダとデコーダが大変
• のみならず隠れ変数空間上に構成されるデータ点のマニフォールドが複雑になり、その上で測地線距離を測定することが難しくなる
• マニフォールドの形状に制約を入れて平にすることで、隠れ空間上の測地線距離をユークリッド距離で近似する事ができるようになる。

Diverse Image-to-Image Translation via Disentangled Representations

Hsin-Ying Lee, Hung-Yu Tseng, Jia-Bin Huang, Maneesh Singh,
Ming-Hsuan Yang

隠れ変数空間をスタイルとコンテントに分離する。我々のアプローチによく似ている。なんとかしないと。。

LAGGING INFERENCE NETWORKS AND POSTERIOR COLLAPSE IN VARIATIONAL AUTOENCODERS

Junxian He, Daniel Spokoyny, Graham Neubig, Taylor Berg-Kirkpatrick

• VAEの学習が失敗するposterior collapseについて解析
• posterior collapseではモデルが隠れ変数を無視するようになり、事後確率が事前確率と一致してしまう。
• 学習の初期に近似に失敗しているので学習方法を調整することで回避。モデル自体は変更しなくても、posterior collapseを回避できる。

Improved Variational Inference with Inverse Autoregressive Flow

Diederik P. Kingma, Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, Max Welling
OpenAIのチーム。

• Normalization Flow の一種 Inverse Autoregressive Flow を提案
• Normalization Flow は VAEにフレキシブルなPosteriorを導入する試み。単純な乱数から逆変換可能な関数でPosteriorを構築する。
• IAFは高次元の隠れ変数空間にも対応できる、という主張

UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY

Guillaume Lample, Alexis Conneau, Ludovic Denoyer, Marc’Aurelio Ranzato
Facebook
ICLR 2018 の論文
https://arxiv.org/pdf/1711.00043.pdf

• 対応する翻訳文がまったくない言語同士間で翻訳
• それぞれの言語をノイズ除去で教師なしで学習するが、Adversarial Lossを入れる。
• その後、変換したものをもとに戻して、元通りになるように学習をすすめる。Cycle GANに似ている？

UNSUPERVISED NEURAL MACHINE TRANSLATION

Mikel Artetxe, Gorka Labaka, Eneko Agirre
ICLR 2018
https://arxiv.org/pdf/1710.11041.pdf

• これも対応するコーパスが無い場合の翻訳
• 言語1と言語2のエンコーダが共有されている？どうしてだろうか。
• denoiseによる学習と、翻訳したものを再翻訳するのは同じ？もとの言語までは戻さず、中間表現を比較している？

WORD TRANSLATION WITHOUT PARALLEL DATA

Alexis Conneau, Guillaume Lample, Marc’Aurelio Ranzato†, Ludovic Denoyer, Herve J´egou´
ICLR 2018
https://arxiv.org/pdf/1710.04087.pdf

• これもパラレルコーパスなしの翻訳ネタ。3つともICLR2018。