※この記事は"How to Train a GAN?" at NIPS2016を、ここを参考にして、私なりに解釈して、重要そうな部分を引用して翻訳したものです。役に立つことが多かったので共有致します。
※GANの説明は省略します。G=Generator、D=Discriminatorとして説明します。
※それぞれのテクニックに根拠はあまり書いてないですが、ほとんどが論文に書いてあった「こうすればうまくいった」というものです。GANの学習がうまくいかないときに試してみると良いと思います。

1. 入力を正規化 (Normalize the inputs)

2. GのLoss関数を修正する (A modified loss function)

3. Zはガウス分布から (Use a spherical Z)

こちらのコード

4. BatchNormalization (Batch Norm)

5. ReLUやMaｘPoolingのように、勾配がスパースになるものは避ける(Avoid Sparse Gradients: ReLU, MaxPool)

PixelShuffle

6. DのOutputの正解ラベル(Real/Fake)には、ノイジーなラベルを使う (Use Soft and Noisy Labels)

7. DCGANやハイブリッドモデル(DCGAN / Hybrid Models)

8. 強化学習における安定性のテクニックを使う (Use stability tricks from RL)

9. 最適化手法はAdamを使う (Use the ADAM Optimizer)

10. 学習がうまく進んでいるのかを確認する (Track failures early)

11. DとGの学習を統計的に制御しない (Dont balance loss via statistics (unless you have a good reason to))

12. 画像データにラベルがついているのであれば、使う (If you have labels, use them)

13. InputやLayerにノイズを入れる (Add noise to inputs, decay over time)

14. Gに学習、テストの両段階において、Dropoutを入れる。(Use Dropouts in G in both train and test phase)

Thank you so much for authors of https://github.com/soumith/ganhacks