アドベントカレンダー7日目ということで、落合陽一式論文要約フォーマットをベースにして論文を読んでいきたいと思います。
落合陽一式論文要約フォーマットって？
こちらのリンクにあるスライドで紹介されている論文を読んでまとめるためのフォーマットです。具体的には以下の手順とフォーマットでまとめていくものです。
- 論文をAbstract → Conclusion → Experiments → Related workの順に読む。
- 以下の項目を埋めて一枚のスライドを作る。
- どんなもの？
- 先行研究と比べてどこがすごい？
- 技術や手法のキモはどこ？
- どうやって有効だと検証した？
- 議論はある？
- 次に読むべき論文は？
実際にやってみる
今回読む論文
わたしはニューラル機械翻訳(NMT)についての研究をしているので、Incorporating BERT into Neural Machine Translationという論文を読んでみることにしました。
手順
先述した読み方とフォーマットをベースにして、以下のやり方で実践します。
- 論文をAbstract → Introduction →Conclusion → Method → Experiments & Results → Related Workの順に読む。
- 以下の項目を埋めてまとめる。
- どんな論文？
- 先行研究と比べてどこが凄い？
- 技術や手法のポイントは？
- どうやって有効だと検証した？
- 議論はある？
- 次に読むべき論文は？
- 自分の意見、ideaは？
1.でintroductionをConclusionの前に持ってきたのは、論文で使われているabbreviationを把握しておきたかったからです。その分野についてよく知っている場合はスキップしても良いと思います。
2.には研究にいかせるように自分の意見、ideaをかく項目を追加しました。
結果
どんな論文？
BERTを文脈埋め込みとしてNMTに利用し、教師あり、半教師あり、教師なしのMTを行いこの手法の有効性を検証した
先行研究と比べてどこが凄い？
BERTは下流の言語理解タスクでは、文脈埋め込みではなく、fine-tuningとしてより一般的に利用されているが、NMTにおいてfine-tuneingよりも文脈埋め込みとして利用する方が優れており、その方向に沿って研究を考えるMotivationを示したこと。
技術や手法のポイントは？
BERTモデルをゼロから訓練することは多くの研究者にとって手が出ないことを考慮し、事前に訓練されたBERTモデルをNMTに活用することに焦点を当てている。
どうやって有効だと検証した？
IWSLT, WMTデータセットを用いて合計14のタスクを行い、7つの最先端の結果を樹立した。
議論はある？
推論時間が45%増加するため、今後どう短縮していくか研究をする必要がある。また、このモデルをどう軽量化するかも課題。
次に読むべき論文は？
論文の最後で紹介されていた、知識蒸留を活用して、事前に訓練されたモデルをNMTと組み合わせる現代の研究2つ
Distilling the Knowledge of BERT for Text Generation, Yen-Chun Chen et al., 2019
Towards Making the Most of BERT in Neural Machine Translation, Jiacheng Yang et al., 2019
自分の意見、ideaは？
BERTの文脈埋め込みと同様なメカニズムで様々なオントロジーを利用する
BERT以外のものは使えるかを検討する。
感想
論文を読むときにフォーマットを意識して読めたので、最後にまとめやすかったです。慣れてくればもっと早く読めるになるはず！！！まだ論文をあまり読んだことがない人は最初から読んでみて比べてみると良いかもしれません。