はじめに

レビュー数の高さの識別に役立つ単語を洗い出せば、ユーザーがサイトのどんな商品特徴に満足していて、もしくは逆に商品特徴で不満を感じているのかを可視化・特定することができ、キャンペーンなどのマーケティング施策立案や、出品者へのアドバイス提供（「XXXだと消費者に好かれないですよ！」など）など、ビジネスインパクトのあるアクションに繋がる。

もちろん、ある変数に寄与する単語の可視化・特定する手法は、ビジネスの世界だけでなく、私の専門である政治学・国際政治学や経済学などの社会科学でも、例えばアメリカの民主党と共和党の言葉のチョイスの違いの分析や

（オープンアクセスではない）

金融指標の変化の予測に寄与する単語の洗い出し

（オープンアクセスではない）

などでも使える。

そこで、本記事では、こちらの記事を参考に、
https://qiita.com/10shimizu10/items/1f44e479917e9a94ae9d
とサイト
https://s3.amazonaws.com/amazon-reviews-pds/readme.html
Amazonが公開しているレビューのデータセットを使って、統計学（計量経済学？）の世界で考案された逆回帰という手法で、レビュー数の高さを識別する単語の洗い出しに挑む。

（オープンアクセスなのでぜひ読んでみてください）

手法紹介

逆回帰というのは、言葉で説明すると、普通の人がある変数に対する単語の効果を測るときにやりそうな、単語を独立変数（X）に、目的変数を従属変数（Y）にする発想とは真逆である。逆回帰では、単語を超多次元な従属変数に、目的変数を「逆」に独立変数にする。

こうすることによって、尤度関数を少し変形すれば、単語ごとに計算を分散させて、並列処理によって計算を高速化することができることが、上で紹介したTaddy(2015)が指摘した。要は、単語ごとに、単語の出現回数を目的変数で予測することである。

この考えは正直私も最初あまり理解できなかったが、Taddy(2013)を読み返してよくよく考えたら、単語の出現頻度を従属変数にするのは、LDAやSTMなどのトピックモデルでは一般的で、逆回帰も同じ思想で考案されたのかなと勝手に理解している。

分析

まずは、必要なパッケージをインポートして、
https://qiita.com/10shimizu10/items/1f44e479917e9a94ae9d
を参考にAmazonのレビューデータをダウンロードする。

library(RMeCab)
library(tidyverse)
library(quanteda)
library(distrom)
url  <- 'https://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_multilingual_JP_v1_00.tsv.gz'
amazon_df <- read_tsv(url)

ただ、Macユーザーの場合、RMeCabのインポートがうまくいかない場合もある。詳細は別記事で書くが、単純にいうと、Macのターミナルではなく、RStudioのターミナルを使えば問題なくインストール・インポートできる可能性もある。

続いて、MeCabを使ってレビューデータの前処理を行う。MeCabに入れる前は、stringrを使って正規表現で漢字・ひらがな・カタカナ・ローマ字以外の文字と記号を除去する。また、自然言語処理が専門の同僚から頂いた意見で、名詞だけ残せば良い。最後に、RのQuantedaという便利なパッケージに我々が指定した単語分割結果を伝えるために、単語同士は空白で区切って結合する。

review_mecabbed <- c()

for (i in 1:nrow(amazon_df)){
  this_review <- str_replace_all(amazon_df$review_body[i], "[^一-龠ぁ-んーァ-ヶーa-zA-Z]", " ")
  mecab_output <- unlist(RMeCabC(this_review, 1))
  review_mecabbed[i] <- str_c(mecab_output[which(names(mecab_output) == "名詞")], collapse = " ")
}

次に、MeCabで処理したレビューをRのQuantedaで文書行列を作成する。ここで重要なのは、トークン化する前に、phrase()という関数を一回噛ませることで、なぜかというと、phrase()を噛ませないと、tokens()関数が勝手にこちらがMeCabで綺麗に分割した単語をもう一回分割するからである。

最後の前処理として、レビュー点数などを入れた行列を作成する（逆回帰の関数が勝手に切片を作ってくれるから-1を入れた）。ここで商品種類（product_category）と役に立った数（helpful_vote）を入れるのは、前者に関して欠落変数の問題を回避するためで、要するに、レビュー数の高さを識別する単語と高人気商品のカテゴリーを識別する単語を区別することである。後者に関しては同じくビジネス示唆が得られそうなのでモデルに投入した。

review_dfm <- review_mecabbed %>%
  phrase() %>%
  tokens() %>%
  dfm() %>%
  dfm_trim(min_termfreq = 500, max_termfreq = 100000)


covars <- model.matrix(
  ~ - 1 + product_category + star_rating + helpful_votes, data = amazon_df
)

最後に、本記事では予測精度系の話は割愛するが、念の為学習データと訓練データに分けた後に、Taddy(2015)を参照に、あまり関心のない変数（商品種類）の比重を1/20にした。分散処理を活用したモデル推定を行う。

set.seed(12345)
train_id <- sample(
  1:nrow(amazon_df),
  round(nrow(amazon_df) * 0.7),
  replace = FALSE
)

cl <- makeCluster(16)

fits <- dmr(cl,
            counts = review_dfm[train_id,],
            covars = covars[train_id,],
            varweight = c(
              rep(1/20, sum(str_detect(colnames(covars), "product_category"))),
              rep(1, 2)
              ),
            verb = 1
            )

stopCluster(cl)

B <- coef(fits)

推定が完了したら、高レビュー数を識別する単語を100個抽出してみよう。

sort(B["star_rating",], decreasing = TRUE) %>%
  head(100)

結果は以下の通りである：

      感激           是非             虜         マリア           圧倒   モーツァルト           幸福 
     0.5406372      0.5163661      0.4814276      0.4213427      0.4143028      0.3981358      0.3914794 
          鳥肌           最高           敬遠             涙         最高峰           毎日           一生 
     0.3826645      0.3751838      0.3693088      0.3625509      0.3609174      0.3603915      0.3587694 
        この世           素敵         金字塔           圧巻           奇跡           絶妙           永遠 
     0.3519965      0.3467851      0.3366198      0.3359813      0.3280291      0.3223982      0.3219789 
          必見       お買い得           存分     お気に入り           脱帽         ススメ           情熱 
     0.3199689      0.3190991      0.3140149      0.3087858      0.3087270      0.3034923      0.2965678 
      たっぷり           完璧           豊か           誇り             胸           傑作           生涯 
     0.2952778      0.2853408      0.2811559      0.2789832      0.2747554      0.2732554      0.2730598 
        前向き           一線           鮮明             晴           教会         生まれ           拍手 
     0.2724707      0.2682710      0.2675764      0.2660892      0.2643827      0.2621610      0.2583445 
          信念       ロンドン           勇気         さりげ           感謝           天才           人生 
     0.2581960      0.2577575      0.2557189      0.2535280      0.2528456      0.2527878      0.2522612 
      アンディ           秀逸           見事           堪能         鮮やか           抜群       マイケル 
     0.2495437      0.2463400      0.2444204      0.2433562      0.2388473      0.2383265      0.2373154 
            真           魅了             史         あなた           驚異             息           高校 
     0.2321594      0.2316864      0.2278959      0.2250903      0.2234548      0.2210090      0.2191397 
          幸せ         苦しみ           機会       ロッキー パフォーマンス           錯覚           夢中 
     0.2186497      0.2182573      0.2164146      0.2137339      0.2137313      0.2136067      0.2125026 
            魂             得           普遍           発見           会場           興奮           静か 
     0.2123675      0.2123202      0.2088983      0.2064744      0.2057500      0.2053968      0.2043879 
          元気             心         爽やか       きっかけ     エネルギー           沢山         悲しみ 
     0.2038822      0.2032743      0.2004573      0.2001287      0.1988765      0.1987255      0.1976924 
          実現           強烈           一品           痛み           余談           正解           充実 
     0.1971608      0.1925254      0.1915004      0.1904773      0.1900427      0.1897504      0.1893354 
            彼         世界中           実感           神父           表情           大切       ユーモア 
     0.1874558      0.1873107      0.1870585      0.1855150      0.1851191      0.1841697      0.1839244 
          尊敬             冬 
     0.1832950      0.1824810

パッと見て確かに高レビューを示す単語で間違いなさそう。

では低レビューを識別する単語も出してみよう。

sort(B["star_rating",], decreasing = FALSE) %>%
  head(100)

結果は以下の通りである：

      返品           最低           駄作         台無し           最悪         はずれ       タレント 
    -1.0190886     -0.6998398     -0.6923001     -0.6797042     -0.6307700     -0.6231636     -0.6092385 
      中途半端           外れ       薄っぺら           失望             雑           駄目           良品 
    -0.6091974     -0.5788900     -0.5480786     -0.5331807     -0.5080459     -0.4808540     -0.4676010 
          肝心           退屈       イマイチ         まとも           新品           単調           三つ 
    -0.4437556     -0.4405987     -0.4316232     -0.4220384     -0.4215306     -0.4146054     -0.4116980 
        ヤマト           陳腐       肩透かし           不快           ダメ           残念           素人 
    -0.4098719     -0.4094393     -0.4038273     -0.3997994     -0.3977049     -0.3920019     -0.3780450 
          不可           発送           皆無           声優     ご都合主義           不明         そっち 
    -0.3757632     -0.3746132     -0.3588497     -0.3538846     -0.3531784     -0.3509619     -0.3444955 
          下手           連絡           劣化           失敗           期待         申し訳           アホ 
    -0.3414452     -0.3399489     -0.3395628     -0.3374354     -0.3324252     -0.3298680     -0.3284379 
        不自然       ユーザー           起用       それなり アベンジャーズ           唐突           安易 
    -0.3275367     -0.3272311     -0.3238004     -0.3219481     -0.3208307     -0.3205134     -0.3175007 
          不足           消費           無駄           結局           正直           販売         いくら 
    -0.3161199     -0.3118912     -0.3115238     -0.3106028     -0.3103611     -0.3092195     -0.3089605 
      ドラゴン         ハズレ           宣伝           すぎ           馬鹿           強引             星 
    -0.3036203     -0.3033403     -0.2999843     -0.2981952     -0.2954460     -0.2939974     -0.2927883 
          典型           記載           平凡           適当           消化           だめ           せい 
    -0.2924323     -0.2901613     -0.2874980     -0.2869653     -0.2851846     -0.2849361     -0.2810355 
          評価           絶賛           吹替           微妙             腹         コピー           表記 
    -0.2804271     -0.2783422     -0.2766268     -0.2731117     -0.2731077     -0.2723769     -0.2714643 
          中身           なん           過ぎ           お金           交換           バカ           無視 
    -0.2712283     -0.2687967     -0.2639483     -0.2633744     -0.2626931     -0.2614768     -0.2611007 
          戦艦           下品           我慢           無理           減点             金           削除 
    -0.2598838     -0.2594604     -0.2592758     -0.2580244     -0.2567061     -0.2566617     -0.2544211 
          正規     プレデター           オチ           都合           古代       しょうが             延 
    -0.2541454     -0.2522473     -0.2521699     -0.2518697     -0.2509334     -0.2492089     -0.2486384 
      ハザード           仕方 
    -0.2484189     -0.2478494

なかなか厳しい言葉が、、、

ではユーザーがどんなレビューに役に立ったを付けるのかも見てみよう。

sort(B["helpful_votes",], decreasing = TRUE) %>%
  head(100)

これはなかなか興味深い結果が出た：

       長調           短調       タレント             op            bwv         ソナタ   ヴァイオリン 
   0.006151981    0.005713377    0.005712510    0.005589355    0.005513805    0.005484828    0.005254814 
        管弦楽         協奏曲       モノラル           追記           歌劇         吹替え           交響 
   0.004997259    0.004939048    0.004901324    0.004806371    0.004684344    0.004677448    0.004569431 
      ショパン         チェロ             団 アベンジャーズ           消費           吹替           起用 
   0.004497356    0.004425615    0.004363012    0.004339299    0.004333723    0.004299250    0.004295330 
          記載           感謝         シンジ           予約             番              d         交響曲 
   0.004293018    0.004292005    0.004281560    0.004264031    0.004262525    0.004236298    0.004226001 
          生産       ステレオ           全集           セル       ユーザー           販売             ch 
   0.004218172    0.004205784    0.004087914    0.004069533    0.004046858    0.003997277    0.003987817 
            ホ           声優           修正         オヤジ           disc       マスター         ブック 
   0.003984790    0.003959990    0.003933736    0.003930842    0.003842302    0.003820405    0.003818482 
            件         エヴァ ベートーヴェン リマスタリング         amazon     ファントム             序 
   0.003779216    0.003760333    0.003739100    0.003715288    0.003699674    0.003697916    0.003697603 
    ブラームス           指揮           採用       ボックス         テイク           開始             月 
   0.003693613    0.003677374    0.003669914    0.003654555    0.003651235    0.003619853    0.003614154 
            集           アナ           限定           仕様             us           公式           削除 
   0.003610085    0.003605346    0.003602597    0.003601825    0.003540815    0.003533249    0.003521483 
          上記       アイドル           改善           国内           シカ       サービス       デジタル 
   0.003512566    0.003509791    0.003485282    0.003479887    0.003475882    0.003463066    0.003439495 
          提示           掲載           楽団       スチール       ライナー           劣化         ソフト 
   0.003431721    0.003414412    0.003403370    0.003402583    0.003372885    0.003350183    0.003342279 
             p              q           初回         ニック           以下           ナウ             版 
   0.003341142    0.003339643    0.003322108    0.003315905    0.003294272    0.003294023    0.003289128 
      ワーナー         ボンド           追加       メディア           発売         カット           失礼 
   0.003288541    0.003252003    0.003246496    0.003229859    0.003197931    0.003181247    0.003179342 
            値       ディスク           asin       マーラー           担当       メーカー           廉価 
   0.003177227    0.003173575    0.003171350    0.003164456    0.003103663    0.003095296    0.003089737 
          沢山           放送 
   0.003074422    0.003066910

上位の単語に音楽・楽器系のものが多く含まれている。更なる深掘りは本記事の範囲を超えているが、ユーザーは音楽系・楽器系の商品で十分な説明を得られていないため、詳細を説明した他ユーザーに高評価をつけているという仮説も考えられそう。

パッと見てあまり解釈性なさそうであるが、役に立ったとつけられないことを識別する単語もついでに出すと：

sort(B["helpful_votes",], decreasing = FALSE) %>%
  head(100)

        新品         外れ     イマイチ       はずれ       アレン   お気に入り     ワイルド         ラブ 
-0.020908560 -0.019141532 -0.014602748 -0.014420262 -0.011005618 -0.010987784 -0.010495179 -0.010313258 
        素敵     デンゼル     スピード         ミラ   ジェイソン     ストーリ           損   ワシントン 
-0.009298527 -0.008953085 -0.008863214 -0.008532473 -0.008499143 -0.008473980 -0.007986643 -0.007855129 
    ノリノリ         やつ         佳作         とこ         元気         ボス     ジョニー     ストーン 
-0.007452962 -0.007391602 -0.007207410 -0.007103005 -0.007006083 -0.006946238 -0.006916759 -0.006867224 
      テンポ         デイ       爽やか         退屈       アラン アイルランド         感じ         平凡 
-0.006797614 -0.006653219 -0.006639228 -0.006598148 -0.006579847 -0.006567533 -0.006515411 -0.006497391 
      ウィル         犯人     キュート     ピーター         恐竜       スリル     久しぶり       ケイジ 
-0.006444495 -0.006161261 -0.006054396 -0.005973915 -0.005926521 -0.005875003 -0.005867969 -0.005779620 
        典型         過激           味         勧め       スゴイ どんでん返し           州   かっこよさ 
-0.005730219 -0.005687051 -0.005505755 -0.005471287 -0.005448829 -0.005445589 -0.005438677 -0.005359056 
        共演       キレイ         満足     アイデア   アメリカン       クリス       マッチ     ニコラス 
-0.005289951 -0.005288158 -0.005233992 -0.005205604 -0.005125408 -0.005114854 -0.005035161 -0.004883182 
      始まり         麻薬         一品       きれい         実話     ジュリア     ゴシック           馬 
-0.004779740 -0.004758739 -0.004752566 -0.004738883 -0.004729063 -0.004707213 -0.004700222 -0.004661058 
        南部         好き         good         ボク   スリリング         ノリ     セクシー         捜査 
-0.004641337 -0.004596942 -0.004587371 -0.004451967 -0.004416632 -0.004275825 -0.004259157 -0.004208989 
        邦題       ブラピ       弁護士       カッコ ファッション         カー         手頃         中古 
-0.004164683 -0.004157246 -0.004148543 -0.004050652 -0.004049326 -0.004018219 -0.004014966 -0.004001804 
         bgm         抜群         期待       タッチ         ジム     ドキドキ         単調           娘 
-0.003963625 -0.003953413 -0.003928109 -0.003813160 -0.003788497 -0.003787578 -0.003718311 -0.003699099 
    ライアン         友達       大好き       キッド         前半     グリーン     コミカル         良好 
-0.003682346 -0.003644885 -0.003587551 -0.003572862 -0.003569098 -0.003564408 -0.003545330 -0.003522240 
        流石         正統       ちゃん         相棒 
-0.003497929 -0.003416219 -0.003412296 -0.003395483

最後に、あくまでも参考に、モデルは裏で商品種類を識別する単語を保持しているので、おもちゃの場合だけ見てみよう。

sort(B["product_categoryToys",], decreasing = TRUE) %>%
  head(100)

       可動           レゴ           塗装         パーツ     フィギュア           造形           部品 
      6.745529       6.393230       6.245736       5.569749       5.363076       4.872435       4.866802 
    プレデター         ヤマト           難易       ブロック         シール           人形           電池 
      4.641431       4.590952       4.188265       4.098417       4.003908       3.993202       3.938283 
    プレゼント         ピット     エイリアン             孫           特撮         ゴジラ           ダム 
      3.849661       3.594412       3.575686       3.571197       3.495553       3.463391       3.454311 
            髪         ピース           ミラ         ルール           誕生       おもちゃ     オードリー 
      3.421491       3.182202       3.178306       3.130589       3.105014       3.098894       3.068934 
          固定           遊び     クリスマス           恐竜           夢中             箱           背中 
      3.064670       3.047633       3.040986       3.029918       3.015492       3.006630       2.996500 
          本体             号           付属           装着           戦艦             艦           回転 
      2.983588       2.946088       2.940748       2.909089       2.906178       2.901122       2.894875 
    パイロット             顔 スターウォーズ           息子         男の子           再現         手持ち 
      2.880747       2.799464       2.779725       2.776355       2.772354       2.761667       2.747752 
            劇           立体             腕             娘           接続           親子             袋 
      2.736292       2.729897       2.728133       2.710527       2.685429       2.677730       2.653460 
          交換             腰           喜び             剣       ロボット         ハウス         スーツ 
      2.624522       2.623282       2.622130       2.596595       2.588390       2.574495       2.568908 
          範囲           製品 アベンジャーズ       スイッチ           収納     エフェクト           武器 
      2.549199       2.535598       2.532733       2.528873       2.522986       2.506467       2.491384 
          手頃           組み             城             親     クリムゾン             足             木 
      2.478698       2.464432       2.457261       2.454612       2.449803       2.437710       2.434366 
      ドラゴン             肩             歳         ボール           商品       カラフル     テクニック 
      2.421050       2.417798       2.410303       2.400761       2.397896       2.394379       2.389457 
          後ろ         バトル             首             台         センチ            ver       スケール 
      2.383089       2.381260       2.368002       2.362191       2.347746       2.341675       2.340983 
          専用           建物       クイーン     バットマン             mm           飛行         セット 
      2.335495       2.325436       2.316600       2.312255       2.306627       2.295342       2.290328 
        モード             才 
      2.275060       2.249533

参考文献

Kelly, Bryan, Asaf Manela, and Alan Moreira. "Text selection." Journal of Business & Economic Statistics 39.4 (2021): 859-879.

Taddy, Matt. "Multinomial inverse regression for text analysis." Journal of the American Statistical Association 108.503 (2013): 755-770.

Taddy, Matt. "Distributed multinomial regression." The Annals of Applied Statistics 9.3 (2015): 1394-1414.