こんにちは。スキルアップAI編集部です。
私は航空工学を専門にしており、以前の記事では航空機設計に関する研究の系譜を、弊社がリリースする論文検索アプリ「ScholarPlanets」を用いてご紹介いたしました。
今回は前回に引き続き、このScholarPlanetsを用いて研究の系譜を調査した結果について解説いたします。本ブログでは調査サンプルとして深層学習を切り口に論文の系譜を調査していきます。なお、本アプリの特長や使用方法については、以前の記事に整理しておりますので、そちらをご参照ください。
＜目次＞
1.調査テーマ（敵対的生成ネットワークとは）
2.論文の系譜を調査した結果
3.調査結果から分かること
4.有向グラフを見るうえでの注意事項
5.おわりに
6.参考文献
1.調査テーマ（敵対的生成ネットワークとは）
本ブログでは、サンプルとして深層学習をテーマに取り上げて研究の系譜の調査を行っていきます。ただ調査をするにあたっては、もう少し具体的に調査対象を絞る方がより意味のある結果が得られると思いますので、今回は敵対的生成ネットワーク（Generative Adversarial Network。以下、GAN）を出発点として調査を進めることにします。
GANは、2014年にIan J. Goodfellowらが文献[1]で発表したアーキテクチャであり、偽物を生成する生成器Generator）と、それを見破る識別器（Discriminator）から成ります。両者が敵対的に学習を進めることで、前者は本物と瓜二つの偽物を生成できるようになり、後者は高精度に本物と偽物を分類できるようになります。
調査者はすでにGANの起源を上記の通り文献[1]だということについては既知であると仮定し、今回の調査では、文献[1]がどのような研究から派生し、どのような研究へと発展していくのかを調査します。
2.論文の系譜を調査した結果
本ブログでは、前章で説明した通りGANがどのような研究の系譜を辿るのかを調査します。
まずは、検索窓に「Generative Adversarial Nets」と入力し、検索ボタンをクリックします。
すると、検索結果の一覧が表示されます。今回探している文献[1]が最上部に表示されていることが確認できますので、そちらを選択します。
選択した文献[1]を中心に、研究の系譜が有向グラフで表されます。有向グラフを拡大して見ると、それぞれのノードに著者とその論文の発行年が表示されています。矢印の方向は論文が引用される方向を表しており、その論文の被引用数が多いほど各ノードは大きく表示されるようになっています。また、カーソルを合わせるとその論文のタイトルがポップアップされます。左上部の「描画設定」をクリックすると有向グラフの幅や深さなどのパラメータを変更することができますが、今回は省略します。描画設定の変更方法については、以前の記事で詳細に記載しておりますのでご参照ください。
3.調査結果から分かること
前章での作業で文献[1]の研究の系譜を有向グラフで示しました。この結果から、次の2点が分かります。
- 過去のどのような研究から派生してGANが生まれたか
- GANがその後どのように発展していったか（していくのか）
まずは前者、すなわち「文献[1]よりも上流（過去）」を表す左側のノードに注目します。 ここでは2012年に発表されたAlex Krizhevskyらの論文（以下、文献[2]）に注目してみました。この論文の題目は『ImageNet Classification with Deep Convolutional Neural Networks』で、2012年にILSVRCという画像認識コンテストで優勝したモデルであるAlexNetの原論文にあたります。AlexNetは、深い畳み込みニューラルネットワーク（Convolutional Neural Network。以下、CNN）を用いたモデルの学習に成功し、ILSVRCでの画像識別精度を従来の最高記録から大きく更新したモデルになります。
文献[2]から文献[1]に向けて矢印が伸びていることから、このような識別器の研究が、後のGANの研究に繋がったということが分かります。
続いて、後者、すなわち「文献[1]よりも下流（未来）」を表す右側のノードに注目します。
ここでは2016年に発表されたAlec Radfordらの論文（以下、文献[3]）を取り上げてみます。この論文の題目は『Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks』です。これはCNNを用いて画像を生成するGANである「Deep Convolutional GAN（以下、DCGAN）」が発表された論文になります。
DCGANは、GANにCNNを取り込む先駆けとなったモデルであり、その経緯からも明らかなように、文献[3]は文献[1]から派生したものです。以上のことから、今回の調査で得られた有向グラフにおいてその系譜をしっかりと捉えられていることが分かります。
4.有向グラフを見るうえでの注意事項
これまで有向グラフの各ノードの関係性を見ることで研究の系譜が分かると述べてきましたが、有向グラフを見るうえで注意しなければいけない点が1つありますので説明しておきます。それは「得られた有向グラフの中で、注目する2つの文献の間の層が深い場合は、必ずしもそれらが密接に関係しているとは判断できない」ということです。
その例として、2019年に発表されたJacob Devlinらの論文（以下、文献[4]）に注目してみます。この論文の題目は『Pre-training of Deep Bidirectional Transformers for Language Understanding』となっており、「Bidirectional Encoder Representations from Transformers（以下、BERT）」という自然言語処理用モデルの原論文にあたります。文献[4]内では、11個の自然言語処理タスクでの優れた結果が示されており、BERTはその全てのタスクにおいて当時のSoTA（State of the Art）を更新しました。
有向グラフを見る限り、文献[1]の系譜を継いで文献[4]は誕生したように思われます。しかし、結論から言うと両者に強い関係性は見られません。それにもかかわらずなぜ有向グラフに文献[4]が表示されたのでしょうか。
それを紐解くには、文献[4]の上流にある、2016年に発表されたMartin Abadiらの論文（以下、文献[5]）に注目する必要があります。この論文の題目は『TensorFlow: A system for large-scale machine learning』で、これはTensorFlowという機械学習用ライブラリの拡張性についての論文になります。
すなわち、文献[1]でのGANについてのトピックが文献[5]にかけて一般化されています。
一般化された文献[5]は広範な分野で引用されやすくなるため、引用数をベースに有向グラフを生成する本アプリでは一般的な課題を扱う文献は表示されやすくなるという傾向があります。
以上のことから、文献[4]は、この一般化された文献[5]から派生した自然言語処理問題に関連する研究の下流にあるものであり、文献[1]の系譜を直接的に継いだものではないと判断できます。このように、注目する2つの文献の間の層が深い場合は「両者の関係性を結論付ける前に一つひとつの文献の概要を把握する必要がある」ということに十分留意する必要があります。
5.おわりに
本ブログでは、弊社がリリースする論文検索アプリ「ScholarPlanets」を利用し、深層学習をサンプルとして研究の系譜を調査しました。具体例としてGANの原論文を取り上げて調査し、その結果から分かることについて述べました。また、有向グラフから研究の系譜を議論するうえで留意すべき事項についても記載しました。調査結果からもお分かりのように、本アプリは研究の系譜を調査するにあたり、時間短縮や簡易性という観点で非常に優れたツールであると言えます。
スキルアップAI講師陣が厳選した機械学習/ディープラーニングの論文も紹介しておりますので、こちらも合わせてご覧ください。
6.参考文献
[1] I. J. Goodfellow, et al., 『Generative Adversarial Nets』, Neural Inf. Process Syst, 2014, pp2672-2680
[2] A. Krizhevsky et al., 『ImageNet Classification with Deep Convolutional Neural Networks』, Communications of the ACM, 2012, Vol. 60, No. 6, pp84-90
[3] A. Radford et al., 『Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks』, The International Conference on Learning Representations
[4] J. Devlin, 『Pre-training of Deep Bidirectional Transformers for Language Understanding』, NAACL-HLT, pp4171-4186
[5] M. Abadi et al., 『TensorFlow: A system for large-scale machine learning』, the 12th USENIX Symposium, 2016
25卒向け！AIエンジニアになるための長期インターンプログラム参加者募集中！
25卒学生向けに、AIの基礎を学びながら就活も一括サポートする無料カリキュラムを提供しています。
修了するとE資格の受験資格も獲得できるプログラムとなっています！
特長①AIエンジニアやデータサイエンティストの基礎が身に付く
AIジェネラリスト基礎講座や機械学習のためのPython入門講座など、市場価値向上のための基礎を習得。
特長②AI・データ分析領域の優良求人を紹介
非公開求人や選考直結型インターンをご紹介し、早期内定の獲得をサポート。
特長③長期インターンプログラム専用の学生コミュニティ参加可
学生同士で就活情報をシェアしたり、学習を進めるうえでアドバイスをしあったりできるコミュニティに参加可能。
☆☆☆
スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。
配信を希望される方はこちら
また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
Twitterはこちら
Facebookはこちら
LinkedInはこちら
スキルアップAI公式YouTube AIビジネスチャンネルはこちら