2018 FIFAワールドカップは、6月14日から7月15 日にかけて、ロシアで開催されています。2014年大会の準決勝進出4チーム（ドイツ、アルゼンチン、オランダ、ブラジル）はすべて敗退となったことに信じられませんでした。サッカーファンの皆さんが今年の大会についてどんな評価するのか、非常に興味があります。そこで、YouTubeで「World Cup 2018」の検索結果から612件のビデオ情報をクローリングして、6,000件を超えるコメントを取得しました。
ここでは、データ抽出のプロセスと、抽出されたデータに基づいて見つかったことを紹介したいと思います。
#どんな情報を収集したのか？
Octoparseというスクレイピングツールを使って、このプロジェクトに2つのwebクローラーを作りました。 Youtubeをスクレイピングすることの難しさは、結果ページとビデオページにある無限のスクロールです。なので、できるだけ多くのビデオ情報を取得するために、Octoparseで自動スクロールを設定する必要があります。
そこで、ビデオのタイトル、時間、投稿者、投稿日時、視聴回数、高評価と低評価を抽出したいと思います。
Octoparseのポイント＆クリック機能により、取得したいビデオ情報を簡単に抽出できます。
各動画のコメントを取得するために、別のwebクローラーを作りました。 ここでのトリックは、クローラーのワークフロー内にループアイテムを追加して、各コメントを1つずつ抽出することです。
それぞれのコメントから、コメントの内容と "高評価"の数をスクレイピングしました。
その結果、YouTubeの動画情報やコメントを構造化されたデータシートに変換することができます。
#抽出された情報から何を見つけましたか？
先週の金曜日にクローラーを使ってデータをスクレイピングして、その時点で56回の試合しかありません。
以下は皆さんとシェアしたい結果です。
##2018年ワールドカップに最も人気のある動画トップ10
公式曲のビデオがとても人気があるのはかなり驚きました。その10つのビデオのうち、4つは2018年ワールドカップ公式曲のビデオです。
##2018年ワールドカップに最も人気のある試合トップ10
人気は、試合の段階ではなく、対戦チームに関係があります。
人気試合にはグループリーグが7つあり、ベスト16試合が3つあります。
最も人気のあるチームはアルゼンチン（3試合）で、次はポルトガル、ドイツ、ブラジル（それぞれ2試合）です。
##人々が最も人気のある試合トップ10に対する好み
今度は、「高評価」と「低評価」の数量から、最も人気のある試合トップ10についての人々の好みをさらに研究したいと考えています。
##2018年ワールドカップに最も低評価な試合トップ10
これは、「低評価」/視聴回数の比率によって計算されます。そのうち6件が「最も人気のある試合トップ10」にも載っているのはとても面白いです。
##2018年ワールドカップ試合での感情分析
コメントをさらに処理した後、2018年ワールドカップ試合8件についての感情分析は次のような結果が得られました。
#まとめ
データは面白いです。データ抽出とデータ分析ツールの急速な発展と普及のおかげで、今情報の収集や分析をよりはやくより簡単に行うことができます。