はじめに

統計もデータ解析もRも勉強したことがありませんが、知らないままでは仕事の幅も広がらないので、少し勉強してみることにします。

今回はTwitterのツイートデータを集めるクローラを使用して、集めたツイートデータの集計をしてみたいと思います。

間違っているところや効率の悪い書き方をしている部分などあるかと思いますが、なにとぞご容赦を。

集計やデータ解析に用いられる言語

集計やデータ解析といえば、世の中では以下のような言語がよく使われていそうです。

SQL
Python
R

試してみる言語

PythonとRを比較する記事はいろいろあるようでした。少し経験のあるPythonを使用するのもよいですが、食わず嫌いはよくないというのが自分の信条なので、Rを試してみることにします。

実行環境の準備

LinuxにRをインストールすると、bashなどのシェルで「R」というコマンドを実行すると、Rのコンソールが起動します。

これでターミナルでも実行できますが、RStudioという統合環境もあります。

RStudioはデスクトップ版とサーバ版があり、サーバ版だと、Webブラウザでサーバにアクセスして使用する形になります。

今回はサーバ版をLinuxにインストールして使用します。ついでにMeCabもインストールします。

アプリケーションなど	バージョン
ディストリビューション	Fedora29
R	3.5.2
RStudio Server	1.1.463
MeCab	0.996

基本的統計量の計算

平均値や最大値、最小値などの、代表的な統計学上の値を基本統計量と呼ぶそうです。Rで計算させてみます。データは、Rに付属しているirisのデータの一部を使用します。

> petal_list <- subset(iris, Species == "setosa")$Petal.Length
> petal_list
 [1] 1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 1.5 1.6 1.4 1.1 1.2 1.5 1.3 1.4 1.7
[20] 1.5 1.7 1.5 1.0 1.7 1.9 1.6 1.6 1.5 1.4 1.6 1.6 1.5 1.5 1.4 1.5 1.2 1.3 1.4
[39] 1.3 1.5 1.3 1.3 1.3 1.6 1.9 1.4 1.6 1.4 1.5 1.4

> sum(petal_list)
[1] 73.1
> mean(petal_list)
[1] 1.462
> max(petal_list)
[1] 1.9
> summary(petal_list)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  1.000   1.400   1.500   1.462   1.575   1.900

ツイートデータの分析

ツイートデータを表すJSON文字列を保存したテキストファイルを読み取り、いくつか集計してみます。

使用するデータは、2019/02/18(月)に放送されたドラマに関するハッシュタグで、放送時間中1時間に投稿されたツイートデータを集めたものとします。
ファイルの形式は、1行にツイート1つ分のJSON文字列が記述されているとします。

各投稿者のツイート数

ドラマの放送時間中に、ユーザが何回ツイートしているかを調べてみます。

コード

library(jsonlite)
# ファイルの読み取り
tweet_json_list <- readLines("./tweet_json_list.txt")

tweet_user_list <- c()
for (tweet_json in tweet_json_list) {
  # 1行ごとにJSONを分解して、ツイートしたユーザのスクリーン名を取り出しリストに追加する
  escaped_json <- gsub("\\\\\"([^,])", "\\\"\\1", tweet_json)
  tweet <- fromJSON(escaped_json)
  tweet_user_list <- append(tweet_user_list, tweet$user$screen_name)
}
# 何件のツイートデータがあったか
length(tweet_user_list)
# 何人のユーザがツイートしたか
user_tbl <- table(tweet_user_list)
length(user_tbl)
# 1人が投稿した最大のツイート件数
max(user_tbl)
# 10回よりも多くツイートしたユーザの一覧を出力
over_10_list <- rev(sort(user_tbl[sapply(user_tbl, function(it) { it >= 10 })]))
over_10_list
# ヒストグラムを作成
histgram = hist(user_tbl)
histgram$breaks
histgram$counts

実行結果

ヒストグラムは以下のようになりました。1,542人がツイートしており、1,347人は5回未満のツイートですが、一方で、44回ツイートした人もいるようです。

> length(user_tbl)
[1] 1542
> max(user_tbl)
[1] 44

> histgram$breaks
 [1]  0  5 10 15 20 25 30 35 40 45
> histgram$counts
[1] 1347  111   34   19    8    6   12    3    2

プロフィール文に使用されている単語

放送時間中にツイートしたユーザの、プロフィールに使用されている単語の種類と件数を集計してみます。

集計対象の単語は名詞、動詞、形容詞、副詞のみとします。
1文字の名詞の単語は、絵文字や記号が多かったので、今回は集計対象から除外しています。

コード

library(jsonlite)
library(RMeCab)
target_part_of_speech_list <- c("名詞", "動詞", "形容詞", "副詞")
tweet_json_list <- readLines("./tweet_json_list.txt")

user_list <- c()
word_list <- c()
for (tweet_json in tweet_json_list) {
  escaped_json <- gsub("\\\\\"([^,])", "\\\"\\1", tweet_json)
  tweet <- fromJSON(escaped_json)
  # まだプロフィールの文章を解析していないユーザだけ処理を行う
  if (is.null(user_list) || is.na(user_list[tweet$user$screen_name])) {
    # プロフィールの文章を取り出す
    profile_txt <- c(tweet$user$description)
    if (!is.null(profile_txt) && nchar(profile_txt) > 0) {
      # 形態素解析を実行
      profile_line_txt <- gsub("\\\\n", " ", profile_txt)
      morpheme_list <- RMeCabC(profile_line_txt, dic = "./mecab-ipadic-neologd.csv.dic")
      for (morpheme in morpheme_list) {
        part_of_speech <- names(morpheme)
        word <- morpheme[[1]]
        # 対象の品詞だけリストに追加
        if (is.element(part_of_speech, target_part_of_speech_list) && nchar(word) > 1) {
          word_list <- append(word_list, word)
        }
      }
      # プロフィールの解析を行ったユーザを記録する
      names(profile_txt) <- c(tweet$user$screen_name)
      user_list <- c(user_list, profile_txt)
    }
  }
}
# プロフィールを登録しているユーザが何人いたか
length(user_list)
# 単語がいくつあるか
length(word_list)
# 単語ごとに登場する回数を集計
word_tbl <- table(word_list)
length(word_tbl)
# 30回以上登場した単語の一覧を出力
over_30_list <- rev(sort(word_tbl[sapply(word_tbl, function(it) { it >= 30 })]))
over_30_list

実行結果

プロフィールの文章を登録しているユーザは1,467人、単語の合計数は21,146、単語の種類の数は8,245でした。30回以上登場する単語は以下のようになりました。

> length(user_list)
[1] 1467
> length(word_list)
[1] 21146

> length(word_tbl)
[1] 8245

> over_30_list
word_list
      好き       さん 関ジャニ∞     大好き       くん   フォロー 
       437        314        281        252        238        223 
   eighter     ドラマ       無言     ちゃん       こと        AAA 
       201        132        122        113        107         99 
      推し       応援   ください       映画       てる       実況 
        81         79         63         62         60         58 
      参戦     錦戸亮       音楽       する   フォロバ     アニメ 
        58         56         53         53         51         51 
      もの       あり      Nissy       line       失礼       なり 
        50         50         48         48         44         44 
      呟き ジャニーズ     エイト       大人       気軽     ファン 
        42         41         41         40         40         40 
  ツイート       いる アカウント     仲良く         20       漫画 
        40         39         39         38         36         35 
渋谷すばる         !!       自由       世代       基本       やっ 
        35         35         34         33         33         33 
    テレビ   亮ちゃん     高橋優       ない       最近     ゲーム 
        33         32         32         32         31         31 
      いい      https    http://         )/        ://   つぶやき 
        31         31         31         31         31         30

フォロー数とツイート数の相間

フォロー数が多い人は活発に活動していてツイート数も多いのでは、という仮説を立てて、検証してみます。検証のために、フォロー数とツイート数の散布図を作成します。ここでいうツイート数とは、放送時間1時間中のツイート数です。

コード

library(jsonlite)
library(RMeCab)
tweet_json_list <- readLines("./tweet_json_list.txt")
screen_name_list <- c()
follow_count_list <- c()
follower_count_list <- c()

for (tweet_json in tweet_json_list) {
  escaped_json <- gsub("\\\\\"([^,])", "\\\"\\1", tweet_json)
  tweet <- fromJSON(escaped_json)
  # スクリーン名、フォロー数、フォロワー数を取り出してリストで記憶
  screen_name_list <- append(screen_name_list, tweet$user$screen_name)
  follow_count_list <- append(follow_count_list, tweet$user$friends_count)
  follower_count_list <- append(follower_count_list, tweet$user$followers_count)
}
# 何件のツイートがあったか
length(screen_name_list)
# ユーザ別のツイート数を表すデータフレームを作成
tweet_data <- data.frame(table(screen_name_list))
colnames(tweet_data) <- c("screen_name", "tweet_count")
# ユーザ別のフォロー数とフォロワー数を表すデータフレームを作成
raw_data <- data.frame(screen_name = screen_name_list, follow_count = follow_count_list, follower_count = follower_count_list)
agg_data <- aggregate(x = raw_data[c("follow_count", "follower_count")], by = list(raw_data$screen_name), FUN = max)
colnames(agg_data) <- c("screen_name", "follow_count", "follower_count")
# スクリーン名でデータフレームをマージ
summary_data <- merge(agg_data, tweet_data)
# フォロー数が1000以上のユーザは図の作成から除外
subset_data <- subset(summary_data, follow_count < 1000)
# 散布図を作成
plot(subset_data$follow_count, subset_data$tweet_count)

フォロワー数も取り出していますが、参考までに取り出してみただけのもので、散布図の作成には使用していません。

実行結果

以下のような結果になりました。さすがに1時間という短い期間では、相間関係はなさそうです。

おわりに

分析結果はさておき、テキストから単語を切り出したり、散布図を作成したりすることができました。

普段の開発ではRubyを使うことが多いのですが、集計処理だけならRでできるようになると、作業の効率が上がるかもしれません。精進してみます。