このようにtwitterでの月ごとのつぶやきが可視化される仕組みを作った話

概要

twitterは徐々に私達の生活に欠かせないものになっている。twitterでは日々多くの話題がかわされている。その全体像を追うことは難しい。ともすれば自分のタイムライン上の話題をすべての人が知っていると思い込む。

今回は、twitter提供している sampling api を利用して、ツイッターでどのような話題が呟かれているかを分析した。その結果として、各月ごとに話された話題をワードクラウドにした。

こちらのtwitterアカウントツイッタートレンド分析でも定期的にまとめてつぶやくので興味があったらフォローしてほしい。

twitter社は開発者向けに呟かれるtweetをサンプリングしたapiを提供している。

こちらのapiを使えば、全tweetではないが、tweetのサンプルが取れる（未確定の情報だが、1-2%だと言われてる）。

このapiを利用することでサンプリングされたtweetを取得できる。日本語のtweetは、1日50万から70万件取得できた。2018年1月から取得しており現在5億6千万tweetを保持している。

そのtweetを自然言語処理しその月によく呟かれた単語をワードクラウド形式で可視化した。

以下にデータをまとめる。

可視化は次のように行う。

データソースは、上に書いたように、twitterの提供している sampling api だ。flunetd と fluentd-twitter-plugin を利用してデータを取得し、独自開発したプログラムで、Google BigQuery へ保存する。

保存したtweetをgoogle dataflow を利用して、形態素解析を行い、月ごとに個数をまとめる。
形態素解析は、javaのkuromojiと最新のワードに対応するため、neologd を利用する。

欲しいのは、その月に目立ったワードなので、全部の月にまんべんなくよく使われるワードは除外し、scikit-learn を利用し TF-IDF を掛け、その月に特徴的に使っているワードの重みを変えたのに、pythonのword-cloud ライブラリにかけて、ワードクラウドを作る。文字の修飾は、pillow ライブラリを利用した。

それでは、上記手法で可視化した各月のtwitterのワードを見ていこう。

2022年は、ウクライナ、安倍晋三死去、統一教会、国葬が話題になった。

コロナの文字が多すぎるので、コロナを除外して表示した。
ウマ娘、ワクチン、東京五輪、総裁選が話題だった。

2020年は、コロナの年だったと言われるだろう。1月はまだ平和な話題だったが、２月以降コロナの話題で持ちきりだ。コロナの話題も、前半は、感染に関することが主だが、後半は給付金など具体的な生活の保障への関心が移っている。

2019年は元号が変わった。タピオカが人気になり、京アニ放火事件という痛ましい事件が起こった。

2018年は、冬季オリンピックや、ラグビーのW杯が日本で行われた。クッパ姫などが瞬間的に盛り上がるが、twitterっぽいなと感じた。

まとめてみて思うのは私達はとても忘れっぽいということだ。（人々が呟かなくなった話題をツイートする）みんなの忘れたbotなどがあるが、私達は簡単に過去を忘れ、年々その速度が早くなっている様に思う。

定期的に過去を振り返るツールがもっと普及すれば良いのになと思う。

最近は、データの民主化によるtweetのサンプリングデータの公開や、BigQuery apache beam(dataflow) などの、安価なデータ分析基盤の普及により個人でもデータ分析ができるようになった。データを分析することで何が起こっているかを個人でも調査できるようになった。