論文情報
- Title: Predict then Propagate: Graph Neural Networks meet Personalized PageRank PDF, Source
- Author: Johannes Klicpera, Aleksandar Bojchevski, Stephan Günnemann
どんなもの？
問題点
- 従来のGraph Convolutional Networks(GCN)には
- ノード情報がtwo-hope先のノードにしか届かない
- もっと遠くまで伝搬させようとすると学習パラーメータが増える
- 伝搬先を遠くすることにより、oversmoothing問題が発生
提案
- Neural Network + personalized page rank のコラボで上の問題を解決
- 推論の過程を NNによるクラス予測とクラス情報の伝搬二つのステップに分離して考える!
- 推論の過程を NNによるクラス予測とクラス情報の伝搬二つのステップに分離して考える!
先行研究と比べてどこがすごい？
- GCNとPageRankを結合することで性能向上が図れた
- limited range problem (情報伝搬が短い隣ノードにしか届かない問題)を解決
- 情報伝搬rangeを増やすことで学習パラーメータが増える問題を解決
どうやって有効だと検証した？
実験
データセット
- these graphs indeed have average shortest path lengths between 5 and 10.
- データ分割と初期化を含め実験を100回行う
- 全てのデータセットで同じhyperparameterを使う
- same number of layers and hidden units, dropout rate d, L2 regularization parameter $\lambda$, learning rate l
- ノード特徴量: bag-of-words representation of abstracts
結果
Overall accuracy
- 提案手法がSOTAを達成している
- 厳密に実験を行った結果、最近提案された手法より、実はoriginal GCNがより良い結果を出していた
Training time per epoch
- APPNPがGCNより25%遅い。情報伝搬ステップのせいだと思われる。
- higher number of matrix multiplications
Training set size
- 情報伝搬が遠くまで達するだけで、少ないlabelデータでも高精度の訓練が可能になる
Number of power iteration steps
- APPNPはstepsの増加に連れて収束していく
- step数は大体平均頂点間距離と一致していることが分かる
Teleport probability ($\alpha$)
- データによって違う遷移確率を持つ
- a higher $\alpha$ improves convergence speed
Neural network without propagation
- 推論段階だけに情報伝搬を適応しても性能向上が見える
- large scaleデータを扱う時は、train段階で情報伝搬をしないことが考えられる
- pretrained neural networksにgraph informationを取り入れた情報伝搬を加えることで精度向上が図れることが分かる
議論はある？
- GCNとPageRankを結合することで性能向上が図れた
- limited range problem (情報伝搬が短い隣ノードにしか届かない問題)を解決
- 情報伝搬rangeを増やすことで学習パラーメータが増える問題を解決
-
PPNP, APPNPは予測モデルと伝搬スキーマを完全に分離して考える仕組みの有効性を証明した
- それぞれのステップでもっと有効な手法を組み合わせることが考えられる
次に読むべき論文は？
- message passing algorithmsのサーベイ
- graph node embeddings
- spectral graph convolutional neural networks
- neighbor aggregations
- neighbor aggregation via recurrent neural networks