Kaggle - Quora Question Pairs1の5位解法2の調査記事です.
Title: [5位] 5th Place Solution Summary
Author: Faron, KazAnova
Discussion URL: https://www.kaggle.com/c/quora-question-pairs/discussion/34349
Code(フォーラムに添付): https://kaggle2.blob.core.windows.net/forum-message-attachments/190488/6625/mark_dodgie_qs_in_test.py
Summary
- 600以上の特徴量をXGBoostで学習
- 特徴量の25以上は右記モデルの予測値(LightGBM, NN, LSTM, SGD)
- 0.13程度に正例をover sampling.
NLP
様々な方法で特徴量を抽出
-
前処理を行ったテキストから抽出
- 原文
- 疑問部分
- ステミング処理
- テキストクリーニング
- ストップワードのみ
- ストップワード除去
-
トークンを集計することで抽出
- 共通/非共通のトークン
- トークンの数
-
両質問に共通する最長の部分文字列
- 文法や句読点の誤りを
-
学習済みGloVe
-
Word2Vec
-
Spacy
-
Doc2Vecは役に立たなかった
-
PyLucene3も役に立たなかった
-
スペルチェックがテストデータにあるランダムな単語(重複しているかどうかの判断を困難にさせるために仕込んだ?)の除去に役立った
-
このランダムな単語がある文は文法的にも論理的にも間違ってた.
グラフ構造
各質問をノード,質問1と2を辺としたグラフの特徴に価値があった.
- 両質問に共通する質問の数
- 一意な質問の数
- 質問1と2の間での長さnのパスの数
- 最大クリーク数
- 成分の数
- y(q1,q3) = y(q2, q3) = a ならば y(q1, q2) = a
その他の特徴量
負例の作り方が作為的だったため,下記特徴量も改善に繋がった.
- min(qid1, qid2)
- abs(qid1 - qid2)
- 全てのテキストをソートした際のindexとの差
References
-
Kaggle, Quora Question Pairs, 2017. ↩
-
Faron, 5th Place Solution Summary, 2017. ↩