【R】textrecipesでテキストマイニング

0.初めに

twitterから流れてきた記事のRMarkdownの中に書かれていたlibrary。

テキストの処理がdplyrのような作法で書かれている。
以下、ソースはRmarkdown中のもの。

library(textrecipes)
complaints_rec <-
  recipe(product ~ date_received + tags + text,
    data = complaints_train
  ) %>%
  step_date(date_received, features = c("month", "dow"), role = "dates") %>%
  step_rm(date_received) %>%
  step_dummy(has_role("dates")) %>%
  step_unknown(tags) %>%
  step_dummy(tags) %>%
  step_tokenize(text) %>%
  step_stopwords(text) %>%
  step_ngram(text, num_tokens = 2, min_num_tokens = 1) %>%
  step_tokenfilter(text, max_tokens = tune(), min_times = 5) %>%
  step_tfidf(text)
complaints_rec

• step_tokenize(tokenize？)とかstep_ngram（ngram作成？）とかstep_stopwords（stopwords除去？）とかstep_tfidf(tfidf計算？)とか・・・ こんな都合のよい関数ないでしょーと思っていたら実際にあった！ 最近作られたものの様子。

textrecipes

• Rでテキストマイニングなら tmとかでしょうか。 自分はRMeCabで後はLDAとかwordcloudとか必要なパッケージを組み合わせてという感じでした。

1.関数

公式,github参照が一番。
丁寧にInput/Outputの形式を整えてくれていました。

関数名	In	Out	説明	備考
step_tokenize()	character	tokenlist()	tokenizeしてくれる。
step_untokenize()	tokenlist()	character	tokenize後のリストを連結して文章に戻す
step_lemma()	tokenlist()	tokenlist()	lemma
step_stem()	tokenlist()	tokenlist()	stemming
step_stopwords()	tokenlist()	tokenlist()	stopwords適用	デフォルトはsnowball。かすたむしたい場合は、custom_stopword_source = c()でリストで指定
step_dummy()	a factor variable	binary dummy variables	カテゴ→バイナリ
step_pos_filter()	tokenlist()	tokenlist()	posfilter
step_ngram()	tokenlist()	tokenlist()	ngram生成
step_tokenfilter()	tokenlist()	tokenlist()	名前とおり
step_tokenmerge()	tokenlist()	tokenlist()
step_tfidf()	tokenlist()	numeric
step_tf()	tokenlist()	numeric
step_texthash()	tokenlist()	numeric
step_word_embeddings()	tokenlist()	numeric	word_embeddingしてくれる.	訓練元のデータはどこ？とか疑問が残るので要確認
step_textfeature()	character	numeric	デフォルトでtextfeaturesパッケージの関数のリスト に従って特徴度を返す？	よくわからない
step_sequence_onehot()	character	numeric	one-hotベクトルにしてくれる。	これは便利！
step_lda()	character	numeric	Lda次元推定値を計算	試してない
step_text_normalization()	character	character		normalization_formで、"nfc"（標準）, "nfd", "nfkd", "nfkc", or "nfkc_casefold".指定

textrecipes includes a little departure in design from recipes, in the sense that it allows for some input and output to be in the form of list columns. To avoid confusion, here is a table of steps with their expected input and output respectively. Notice how you need to end with numeric for future analysis to work.

とのとおり、tidymodels、recipesという大もとのライブラリから派生している様子。こちらも見ておかないと。

2.実際触ってみた。

• 日本語ならばはじめに分かち書きしないといけないので、RMeCabを利用。
  pythonに比べて処理速度がというような意見もあるけれど、そんなに遅くないのでは？
  ※大量テキストはまだ未実験。

• jptext作成の部分はあれこれ弄ったら冗長っぽい処理になってしまったので、あまり参考になさらずに。。単に元の文章とRMacab適用後の分かち文章を取得したいだけなので。そのうち直したい。↓こういう感じ
  

• RStudio Version 1.3.959　で実行、RmecabをWindows64bitで実行させるのに少し苦労した。

txttable<-
  c("【請求項１】 内燃機関と、 フレームと、 前記内燃機関により消費されるべき燃料を保管するための燃料タンクと、 前記内燃機関と前記燃料タンクとに接続された容器と、 を備え、前記容器は、前記燃料タンクから蒸発した燃料を蓄えるように形成されている、オートバイであって、 前記容器は、使用位置では少なくとも部分的に、前記燃料タンクによって覆い隠されている、オートバイにおいて、 前記燃料タンクは、前記フレームに対して、整備位置と前記使用位置との間で旋回可能に支承されていることを特徴とする、オートバイ。",
・・・（""区切りで100文くらい)
  ) %>%
  as.data.frame()
colnames(txttable)<-"text"


txttable2<-RMeCabDF(txttable)

jptext<-purrr::pmap_df(list(nv=txttable2,
                         title = txttable$text),
                    function(nv,title){
                      tibble(title=title,
                             word=stringr::str_c(nv) ,
                             hinshi=names(nv))
                    }) %>%
  group_by(title) %>%
  mutate(wakati = paste(word, collapse = " ")) %>%
  distinct(wakati)

test_rec <- recipe(~ wakati, data = jptext) %>%
  step_tokenize(wakati) %>% # Tokenizes to words by default
  step_stopwords(wakati,custom_stopword_source = c("か","おり","ある","および","え","いる","あり","あっ", "いずれ")) %>% # Uses the english snowball list by default
  step_tokenfilter(wakati, max_tokens = 300) %>%
  step_tfidf(wakati)

test_obj <- test_rec %>%
  prep()

str(bake(test_obj, jptext), list.len = 10)

結果

ちゃんと日本語でもtfidf処理されてますね。
あとよく見るとRMecabで対応する機能が結構そろっている！

str(bake(test_obj, jptext), list.len = 10)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':   66 obs. of  300 variables:
 $ tfidf_wakati_ａ            : num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_ｂｓ          : num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_アーム        : num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_アクチュエータ: num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_アクティブ    : num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_エミッション  : num  0 0 0 0 0 ...
 $ tfidf_wakati_オートバイ    : num  0.0391 0.0442 0.0304 0.0218 0.0194 ...
 $ tfidf_wakati_オフ          : num  0 0 0 0 0 0 0 0 0 0 ...
 $ tfidf_wakati_おり          : num  0 0.071 0 0 0.0313 ...
 $ tfidf_wakati_か            : num  0 0 0 0.0197 0.0176 ...
  [list output truncated]

参考

• 公式 *
• github
• 実践データサイエンス →textrecipesを使った例あり。

20210915追記：
Rでもsentencepieceを使えるパッケージがあったのでRMeCabの代わりになりそう。

library(tokenizers.bpe)
library(sentencepiece)

dl <- sentencepiece_download_model("Japanese", vocab_size = 50000)
model <- sentencepiece_load_model(dl$file_model)

txt <- "すもももももももものうち"
entencepiece_encode(model, txt, type = "subwords")