2018 FIFAワールドカップは、6月14日から7月15 日にかけて、ロシアで開催されています。2014年大会の準決勝進出4チーム（ドイツ、アルゼンチン、オランダ、ブラジル）はすべて敗退となったことに信じられませんでした。サッカーファンの皆さんが今年の大会についてどんな評価するのか、非常に興味があります。そこで、YouTubeで「World Cup 2018」の検索結果から612件のビデオ情報をクローリングして、6,000件を超えるコメントを取得しました。

ここでは、データ抽出のプロセスと、抽出されたデータに基づいて見つかったことを紹介したいと思います。

#どんな情報を収集したのか？

Octoparseというスクレイピングツールを使って、このプロジェクトに2つのwebクローラーを作りました。 Youtubeをスクレイピングすることの難しさは、結果ページとビデオページにある無限のスクロールです。なので、できるだけ多くのビデオ情報を取得するために、Octoparseで自動スクロールを設定する必要があります。