0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

[Survey] Kaggle - Quora 5位解法まとめ

0
Last updated at Posted at 2017-09-12

Kaggle - Quora Question Pairs1の5位解法2の調査記事です.

Title: [5位] 5th Place Solution Summary
Author: Faron, KazAnova
Discussion URL: https://www.kaggle.com/c/quora-question-pairs/discussion/34349
Code(フォーラムに添付): https://kaggle2.blob.core.windows.net/forum-message-attachments/190488/6625/mark_dodgie_qs_in_test.py

Summary

  • 600以上の特徴量をXGBoostで学習
  • 特徴量の25以上は右記モデルの予測値(LightGBM, NN, LSTM, SGD)
  • 0.13程度に正例をover sampling.

NLP

様々な方法で特徴量を抽出

  • 前処理を行ったテキストから抽出

    • 原文
    • 疑問部分
    • ステミング処理
    • テキストクリーニング
    • ストップワードのみ
    • ストップワード除去
  • トークンを集計することで抽出

    • 共通/非共通のトークン
    • トークンの数
  • 両質問に共通する最長の部分文字列

    • 文法や句読点の誤りを
  • 学習済みGloVe

  • Word2Vec

  • Spacy

  • Doc2Vecは役に立たなかった

  • PyLucene3も役に立たなかった

  • スペルチェックがテストデータにあるランダムな単語(重複しているかどうかの判断を困難にさせるために仕込んだ?)の除去に役立った

  • このランダムな単語がある文は文法的にも論理的にも間違ってた.

グラフ構造

各質問をノード,質問1と2を辺としたグラフの特徴に価値があった.

  • 両質問に共通する質問の数
  • 一意な質問の数
  • 質問1と2の間での長さnのパスの数
  • 最大クリーク数
  • 成分の数
  • y(q1,q3) = y(q2, q3) = a ならば y(q1, q2) = a

その他の特徴量

負例の作り方が作為的だったため,下記特徴量も改善に繋がった.

  • min(qid1, qid2)
  • abs(qid1 - qid2)
  • 全てのテキストをソートした際のindexとの差

References

  1. Kaggle, Quora Question Pairs, 2017. ↩

  2. Faron, 5th Place Solution Summary, 2017. ↩

  3. Apache, PyLucene ↩

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?