概要
from sklearn.feature_extraction.textのvectorizerの種類やオプションの指定によって、カテゴリ分類の精度がどのように変わるかを実験しました。具体的には、以下の要因について比較しました。
| 要因 | 水準数 | 水準 |
|---|---|---|
| vectorizer | 3 | CountVectorizer, TfidfVectorizer, HashingVectorizer |
| tokenizer | 2 | char, word |
| ngram_range | 3 | (1,1), (1,3), (3,3) |
| binary | 2 | True,False |
動機
sklearnでテキスト分類を使うときにvectorizerやオプションの指定をどうしたらいいかよくわからなかったので、感覚を掴むために実験しました。
結果
精度
教師データとしてlivedoorニュースコーパスから抽出したタイトルとカテゴリのペア7367件（カテゴリ数9）を用いました。半数のデータを使ってナイーブベイズで学習した分類モデルの精度を残りのデータで評価する、という試行を各学習条件に対して１００回ずつ行いました。結果を以下に示します。
精度の平均値が最も高かったのは、(vectorizer, tokenizer, ngram_range, binary) = (CountVectorizer , word, (1,3), True)の条件で、平均値は0.812でした。精度の平均値が最も低かったのは、(vectorizer, tokenizer, ngram_range, binary) = (HashingVectorizer, word, (3,3), False)の条件で、平均値は0.812でした。
要因別で見ると、vectorizerについては、HashingVectorizerがCountVectorizer、TfidfVectorizerよりも全体的に小さいです。tokenizerとngram_rangeは強めの交互作用がありそうで、(tokenizer, ngram_range)=(char, (1,1))または(word, (3,3))のときに精度が低くなっていました。binaryはTrueのほうが全体的に精度が高いですが、影響は相対的に小さめにみえます。
vectorizer, tokenizer, ngram_range, binaryの４要因について対応ありの分散分析の結果を示します。対応は、試行ごとに用いた学習データの対応です。
Anova
=========================================================================
F Value Num DF Den DF Pr > F
-------------------------------------------------------------------------
vectorizer 53443.2497 2.0000 198.0000 0.0000
tokenizer 1898.8320 1.0000 99.0000 0.0000
ngram_range 29846.5163 2.0000 198.0000 0.0000
binary 3226.5334 1.0000 99.0000 0.0000
vectorizer:tokenizer 538.8225 2.0000 198.0000 0.0000
vectorizer:ngram_range 2122.0846 4.0000 396.0000 0.0000
tokenizer:ngram_range 78421.4171 2.0000 198.0000 0.0000
vectorizer:binary 133.0737 2.0000 198.0000 0.0000
tokenizer:binary 1403.4966 1.0000 99.0000 0.0000
ngram_range:binary 1179.3318 2.0000 198.0000 0.0000
vectorizer:tokenizer:ngram_range 1968.6917 4.0000 396.0000 0.0000
vectorizer:tokenizer:binary 576.0826 2.0000 198.0000 0.0000
vectorizer:ngram_range:binary 688.8808 4.0000 396.0000 0.0000
tokenizer:ngram_range:binary 955.2296 2.0000 198.0000 0.0000
vectorizer:tokenizer:ngram_range:binary 930.2602 4.0000 396.0000 0.0000
=========================================================================
すべての要因の主効果および交互作用が有意でした。
F値に注目すると、tokenizerとngram_rangeの交互作用、vectorizerの主効果が目立って大きく、ngram_rangeの主効果は交互作用がより強く出ているのでとばすと、binaryの主効果が続いています。ただしbinaryの主効果はそれより上位の効果に比べればかなり小さいです。
グラフからうける印象に沿った結果となっていることがわかります。
下位検定については、グラフを見れば雰囲気はなんとなくわかるので、今回は省略します。
時間
精度評価の際に、分類機の学習にかかる時間も計測していましたので、その結果を以下に示します。
時間はまず、外れ値はありますが、すべての条件における殆どの試行が(1回あたり）0.2秒以下となっており、試行を数百回、数千回と繰り返すケースでなければ、あまり意識する必要はなさそうです。
一応、学習時間を比較してみると、ngram_rangeの影響が強く、特にngram_rangeが(1,3)や(3,3)のときに学習時間が長くなる傾向がありそうです。またbinaryもTrueのときに学習時間が長くなる傾向がありそうです。
精度のときと同様に、vectorizer, tokenizer, ngram_range, binaryの４要因対応あり分散分析の結果を示します。
Anova
========================================================================
F Value Num DF Den DF Pr > F
------------------------------------------------------------------------
vectorizer 27.3369 2.0000 198.0000 0.0000
tokenizer 63.1572 1.0000 99.0000 0.0000
ngram_range 1095.7163 2.0000 198.0000 0.0000
binary 661.9470 1.0000 99.0000 0.0000
vectorizer:tokenizer 21.8070 2.0000 198.0000 0.0000
vectorizer:ngram_range 105.7113 4.0000 396.0000 0.0000
tokenizer:ngram_range 46.4642 2.0000 198.0000 0.0000
vectorizer:binary 11.3311 2.0000 198.0000 0.0000
tokenizer:binary 9.2247 1.0000 99.0000 0.0031
ngram_range:binary 56.8929 2.0000 198.0000 0.0000
vectorizer:tokenizer:ngram_range 21.8805 4.0000 396.0000 0.0000
vectorizer:tokenizer:binary 19.7996 2.0000 198.0000 0.0000
vectorizer:ngram_range:binary 14.5234 4.0000 396.0000 0.0000
tokenizer:ngram_range:binary 1.4395 2.0000 198.0000 0.2395
vectorizer:tokenizer:ngram_range:binary 9.6528 4.0000 396.0000 0.0000
========================================================================
tokenizer, ngram_range, binaryの三重交互作用を除くすべての交互作用と主効果が有意でした。
F値が大きいのはngram_rangeの主効果、binaryの主効果の２つで、グラフの印象と一致する結果となっています。
考察
tokenizerとngram_range
精度に関して最も影響が強かったのは、tokenizerとngram_rangeの交互作用でした。具体的には、(tokenizer, ngram_range)=(char, (1,1)) or (word, (3,3))のときに精度が低いという結果でした。(char, (1,1))は文字単位のユニグラム、(word, (3,3))は単語単位のトリグラムです。それぞれトークン化の単位として細かすぎ、荒すぎたため、精度が悪くなったと考えられます。
上記以外のtokenizerとngram_rangeの組み合わせに関しては、(word, (1,3))が少しだけ高いといえば高いですが、概ね似たような精度でした。
個人的にはそこまで精度が変わらないのであれば、形態素解析辞書を使わずに済む、(char, (3,3))が一番手軽で便利だと思いました。
なお、荒い方に関しては、より多くの学習データがある状況だったり、分類対象が長文（今回は記事タイトルで比較的短め）のケースでは、高精度が出ていた可能性もあるため、あくまで、今回用いた学習データ、評価データにおいてはの話となります。学習データの量や一文の長さと、トークン化の粗さの関係については機会があれば、別途検証してみたいです。
vectorizer
vectorizerはtokenizerとngram_rangeの交互作用の次に影響が強かったです。
水準の差をみると、CountVectorizerとTfidfVectorizerは前者のほうが少し精度がいいですが、ほぼ同程度、HashingVectorizerが相対的に少し低めという結果でした。
HashingVectorizerについては、算出のロジックをよく理解できていないうえ、ナイーブベイズ分類器似入力するために負値がでないようにするパラメータ設定を行ったりしているので、他２つと正当な比較ができているのかはよくわかりません。
CountVectorizerがTfidfVectorizerと同等以上の精度になっているのは少し意外でした。Tfidfは単語の登場頻度などを考慮した「気の利いた」ベクトル化になっているため、精度にいい影響があるかと思っていました。結果から考えれば、ナイーブベイズの学習自体が単語の登場頻度等を考慮した計算であるため、Tfidfとある意味で役割がかぶっており、入力値はシンプルなカウントベクトルのほうが適していたということなのかもしれません。ナイーブベイズ以外で学習したときにどういう傾向がでるのか気になります。
binary
影響は小さいものの、binary=Trueのときには、全体的に精度が高くなる傾向がありました。binaryオプションがTrueのとき、一つの文に単語が複数回登場していても１回のみの登場として扱われるようになります（HashingVectorizerの場合、意味合いが少し違うかもしれないのですが深く理解できていません）。分類タスクにおいては単語が何文書に登場したかが重要であり、各文書に何回登場したかという情報を含めること（つまりbinary=False）は、ノイズになるということなのかもしれません。
制限事項
今回用いたデータはライブドアニュースコーパスの記事タイトルとカテゴリです。また、学習モデルはナイーブベイズに固定しています。ベクトル化においては、注目したパラメータ以外（例えばトークンとして採用する登場回数の最小、最大しきい値やstop_wordsなどの設定）はデフォルト値を使用しています。ただしHashingVectorizerはn_featuresは学習時間短縮のため、デフォルト値(2^20)ではなく2^16としており、ナイーブベイズ学習の妨げとなる負値を登場させないため、alternative_signをTrueにしています。tokenizer=wordの条件では、分かち書きのためmecabおよび辞書としてmecab-ipa-neologdを使用しています。これらの状況以外では、結果が変わる可能性があります。
次に実装するとしたら
最も精度が高かったのは単語で分かち書きする条件でしたが、分かち書きは辞書の影響もうけるので、思考停止である程度精度高く実装したい場合は、(vectorizer, tokenizer, ngram_range, binary) = (CountVectorizer, char, (3,3), True)の条件が、良さそうな気がします。
データ数が多かったり入力が長文であることが期待できるなら単語分割にしたり、ngram_rangeを大きくすることを試し見ても良いかもしれません。
方法
再現用に実験、分析に使ったコードを記載します。ノートブック（一部ターミナル）での実行を想定しています。
環境
ターミナルで実行
% sw_vers
ProductName: macOS
ProductVersion: 11.6.1
BuildVersion: 20G224
% python -V
Python 3.8.6
インストール
pip install scikit-learn
pip install mecab-python3
pip install pingouin
pip install scipy
pip install statsmodels
pip install matplotlib
データの用意
ターミナルで実行
curl -O "https://www.rondhuit.com/download/ldcc-20140209.tar.gz" #macの場合
tar zxvf ldcc-20140209.tar.gz
以下はpythonで実行
import os
import pandas as pd
path = os.path.join("text")
categories, titles, contents = [], [], []
dirs = [ v for v in os.listdir(path) if os.path.isdir(os.path.join(path, v)) ]
for dir in dirs:
files = [os.path.join(path,dir, v) for v in os.listdir(os.path.join(path,dir)) if v.startswith(dir)]
for file in files:
with open(file, "r", encoding="utf-8") as f:
lines = f.read().splitlines()
categories.append(dir)
titles.append(lines[2])
contents.append(" ".join(lines[3:]))
df = pd.DataFrame({
"category": categories,
"title": titles,
"content": contents
})
df.to_csv("livedoor_news.tsv", sep="\t", index=False,header=None)
データの読み込み
import pandas as pd
df = pd.read_csv("livedoor_news.tsv", sep="\t", names=["label", "title", "text"])
df.head()
label title text
0 movie-enter 【DVDエンター！】誘拐犯に育てられた女が目にした真実は、孤独か幸福か 2005年11月から翌2006年7月まで読売新聞にて連載された、直木賞作家・角田光代による...
1 movie-enter 藤原竜也、中学生とともにロケット打ち上げに成功 「アンテナを張りながら生活をしていけばいい」 2月28日、映画『おかえり、はやぶさ』（...
2 movie-enter 『戦火の馬』ロイヤル・プレミアにウィリアム王子＆キャサリン妃が出席 3月2日より全国ロードショーとなる、スティーブン・スピルバーグの待望の監督最新作『戦火の馬...
3 movie-enter 香里奈、女子高生100人のガチンコ質問に回答「ラーメンも食べる」 女優の香里奈が18日、都内で行われた映画『ガール』（5月26日公開）の女子高生限定試写会に...
4 movie-enter ユージの前に立ちはだかったJOY「僕はAKBの高橋みなみを守る」 5日、東京・千代田区の内幸町ホールにて、映画『キャプテン・アメリカ/ザ・ファースト・アベン...
学習用の関数の定義
以下の関数は、与えられたvectorizer, modelを用いて、100回学習試行をし、試行ごとの精度と所要時間のリストをします。
#vectorizerをimport
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer, HashingVectorizer
#multinomialnbをimport
from sklearn.naive_bayes import MultinomialNB
# accuracy_scoreをimport
from sklearn.metrics import accuracy_score
# train_test_splitをimport
from sklearn.model_selection import train_test_split
# timeをimport
import time
# 100回学習して、試行ごとの精度と所要時間のリストを返す
def calc_accuracy(texts, labels, model, vectorizer):
X = vectorizer.fit_transform(texts)
scores, times = [], []
for random_state in range(100):
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.5, shuffle=True, random_state=random_state, stratify=labels)
start = time.time()
model.fit(X_train, y_train)
end = time.time()
times.append(end - start)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
scores.append(accuracy)
return scores, times
以下の関数は日本語テキストをmecabで分かち書きしたリストにして返します。
mecabの辞書はデフォルトのものを使用しており、筆者の環境ではmecab-ipadic-neologdです。
import MeCab
mecab = MeCab.Tagger("-Owakati")
def parse_text(text):
return mecab.parse(text).strip().split()
条件ごとの学習結果の取得
#vectorizerをimport
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer, HashingVectorizer
#multinomialnbをimport
from sklearn.naive_bayes import MultinomialNB
scores, times = [],[]
models, vectorizers = [], []
tokenizers, ngram_ranges, binaries = [],[],[]
random_states = []
# ngram_rangeとbinaryだけはループ変数として用意し、その他の条件はループの中で直接書く。
for ngram_range in [(1,1),(1,3),(3,3)]: # ngram_rangeの水準パターン
for binary in [True, False]: # binaryの水準パターン
#ループの進捗確認用の出力
print("ngram_range: {}, binary: {}".format(ngram_range, binary))
# ナイーブベイズモデルを宣言
model = MultinomialNB()
i=-1
# 進捗確認用の出力
i+=1; print(i)
# CountVectorizer、tokenizerはmecab
vectorizer = CountVectorizer(tokenizer=parse_text, ngram_range=ngram_range, binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["CountVectorizer"] * len(s)
tokenizers += ["mecab-neologd"] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
binaries += [binary] * len(s)
random_states += list(range(100))
i+=1; print(i)
# CountVectorizer、tokenizerはchar
vectorizer = CountVectorizer(analyzer="char", ngram_range=ngram_range, binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["CountVectorizer"] * len(s)
tokenizers += ["char"] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
binaries += [binary] * len(s)
random_states += list(range(100))
i+=1; print(i)
# TfidfVectorizer、tokenizerはmecab
vectorizer = TfidfVectorizer(tokenizer=parse_text, ngram_range=ngram_range, binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["TfidfVectorizer"] * len(s)
tokenizers += ["mecab-neologd"] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
binaries += [binary] * len(s)
random_states += list(range(100))
i+=1; print(i)
# TfidfVectorizer、tokenizerはchar
vectorizer = TfidfVectorizer(analyzer="char", ngram_range=ngram_range,binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["TfidfVectorizer"] * len(s)
tokenizers += ["char"] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
binaries += [binary] * len(s)
random_states += list(range(100))
i+=1; print(i)
# HashingVectorizer、tokenizerはmecab
vectorizer = HashingVectorizer(tokenizer=parse_text, ngram_range=ngram_range, alternate_sign=False, n_features=2**16, binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["HashingVectorizer"] * len(s)
tokenizers += ["mecab-neologd"] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
binaries += [binary] * len(s)
random_states += list(range(100))
i+=1; print(i)
# HashingVectorizer、tokenizerはchar
vectorizer = HashingVectorizer(analyzer="char", ngram_range=ngram_range, alternate_sign=False,n_features=2**16,binary=binary)
s, t = calc_accuracy(df.title, df.label, model, vectorizer)
scores += s
times += t
models += ["MultinomialNB"] * len(s)
vectorizers += ["HashingVectorizer"] * len(s)
tokenizers += ["char"] * len(s)
binaries += [binary] * len(s)
ngram_ranges += ["({},{})".format(ngram_range[0], ngram_range[1])] * len(s)
random_states += list(range(100))
結果の保存
#結果のデータフレーム化
df_accuracy = pd.DataFrame({
"model": models,
"vectorizer": vectorizers,
"tokenizer": tokenizers,
"ngram_range": ngram_ranges,
"binary": binaries,
"random_state": random_states,
"accuracy": scores,
"time": times
})
#結果の保存
df_accuracy.to_csv("df_accuracy.tsv", index=False, sep="\t")
結果の読み込み、確認
#結果の読み込み
df_accuracy = pd.read_csv("df_accuracy.tsv", sep="\t")
#結果の出力
df_accuracy.head()
要約情報の取得、保存
分析には直接関係ないですが、各条件の平均値、標準偏差を数値で確認しておきます。
# 結果の概要の表示
# accuracyのmeanを取得
df_describe = df_accuracy.groupby(["model", "vectorizer", "tokenizer", "ngram_range","binary"],as_index=False)["accuracy"].mean()
# accuracyの列名をaccuracy_meanに変更
df_describe.columns = ["model", "vectorizer", "tokenizer", "ngram_range", "binary","accuracy_mean"]
# accuracyのstdを取得
df_describe["accuracy_std"] = df_accuracy.groupby(["model", "vectorizer", "tokenizer", "ngram_range","binary"],as_index=False)["accuracy"].std()["accuracy"]
# timeのmeanを取得
df_describe["time_mean"] = df_accuracy.groupby(["model", "vectorizer", "tokenizer", "ngram_range","binary"],as_index=False)["time"].mean()["time"]
# timeのstdを取得
df_describe["time_std"] = df_accuracy.groupby(["model", "vectorizer", "tokenizer", "ngram_range","binary"],as_index=False)["time"].std()["time"]
# 結果の保存
df_describe.to_csv("df_describe.tsv",sep="\t",index=False)
# 結果の表示
df_describe.head()
model vectorizer tokenizer ngram_range binary accuracy_mean accuracy_std time_mean time_std
0 MultinomialNB CountVectorizer char (1,1) False 0.709704 0.006653 0.013404 0.003324
1 MultinomialNB CountVectorizer char (1,1) True 0.723350 0.006072 0.020566 0.013112
2 MultinomialNB CountVectorizer char (1,3) False 0.797581 0.005588 0.059319 0.007868
3 MultinomialNB CountVectorizer char (1,3) True 0.807527 0.005507 0.090673 0.020877
4 MultinomialNB CountVectorizer char (3,3) False 0.798833 0.005596 0.041194 0.005625
グラフの表示保存
accuracyに関する箱ひげ図を作成します。
#accuracyの全結果
import matplotlib.pyplot as plt
fig = df_accuracy.boxplot(column="accuracy", by=["vectorizer", "tokenizer", "ngram_range","binary"],rot=90, figsize=(10,5))
fig.set_ylabel("accuracy")
fig.set_ylim(0,1)
plt.savefig("./accuracy_boxplot.png", bbox_inches="tight", pad_inches=0.1)
plt.show()
timeに関する箱ひげ図を作成します。
fig = df_accuracy.boxplot(column="time", by=["vectorizer", "tokenizer", "ngram_range","binary"],rot=90, figsize=(10,5))
fig.set_ylabel("time (sec) per single train")
fig.set_ylim(0,1)
plt.savefig("./time_boxplot.png", bbox_inches="tight", pad_inches=0.1)
plt.show()
分散分析
必要ライブラリを読み込みます。
import statsmodels.api as sm
from statsmodels.formula.api import ols
import pandas as pd
import numpy as np
import statsmodels.stats.anova as anova
accuracyについての分散分析を実行します。
aov = anova.AnovaRM(df_accuracy, "accuracy", "random_state",within=["vectorizer", "tokenizer", "ngram_range","binary"])
result = aov.fit()
print(result)
timeについての分散分析を実行します。
aov = anova.AnovaRM(df_accuracy, "time", "random_state",within=["vectorizer", "tokenizer", "ngram_range","binary"])
result = aov.fit()
print(result)
下位検定
結果では触れていませんが、下位検定をする場合は以下で可能です。
モジュールをimportします。
#対応ありt検定のモジュールをimport
from scipy import stats
from statsmodels.stats.multicomp import pairwise_tukeyhsd
import pingouin as pg
主効果に関する下位検定（t検定）をします。
#vectorizerのt検定
posthocs = pg.pairwise_ttests(dv='accuracy', within='vectorizer', subject='random_state', padjust="bonf",data=df_accuracy)
print(posthocs.round(3))
#tokenizerのt検定
posthocs = pg.pairwise_ttests(dv='accuracy', within='tokenizer', subject='random_state', padjust="bonf",data=df_accuracy)
print(posthocs.round(3))
#ngram_rangeのt検定
posthocs = pg.pairwise_ttests(dv='accuracy', within='ngram_range', subject='random_state', padjust="bonf",data=df_accuracy)
print(posthocs.round(3))
#binaryのt検定
posthocs = pg.pairwise_ttests(dv='accuracy', within='binary', subject='random_state', padjust="bonf",data=df_accuracy)
print(posthocs.round(3))
Contrast A B Paired Parametric \
0 vectorizer CountVectorizer HashingVectorizer True True
1 vectorizer CountVectorizer TfidfVectorizer True True
2 vectorizer HashingVectorizer TfidfVectorizer True True
T dof alternative p-unc p-corr p-adjust BF10 hedges
0 300.048 99.0 two-sided 0.0 0.0 bonf 5.785e+143 20.653
1 132.300 99.0 two-sided 0.0 0.0 bonf 1.019e+109 7.593
2 -206.300 99.0 two-sided 0.0 0.0 bonf 6.997e+127 -12.589
Contrast A B Paired Parametric T dof \
0 tokenizer char mecab-neologd True True 43.576 99.0
alternative p-unc BF10 hedges
0 two-sided 0.0 5.158e+62 3.985
Contrast A B Paired Parametric T dof alternative \
0 ngram_range (1,1) (1,3) True True -216.416 99.0 two-sided
1 ngram_range (1,1) (3,3) True True 48.683 99.0 two-sided
2 ngram_range (1,3) (3,3) True True 247.933 99.0 two-sided
p-unc p-corr p-adjust BF10 hedges
0 0.0 0.0 bonf 7.548e+129 -15.472
1 0.0 0.0 bonf 1.649e+67 5.106
2 0.0 0.0 bonf 4.502e+135 20.772
Contrast A B Paired Parametric T dof alternative p-unc \
0 binary False True True True -56.803 99.0 two-sided 0.0
BF10 hedges
0 3.563e+73 -1.222
ngram_rangeとtokenizerの単純主効果の分析をします。
#ngram_rangeとtokenizerの単純主効果分析
posthocs = pg.pairwise_ttests(dv='accuracy', within=['tokenizer', 'ngram_range'], subject='random_state', padjust="bonf",data=df_accuracy)
print(posthocs.round(3))
Contrast tokenizer A B Paired \
0 tokenizer - char mecab-neologd True
1 ngram_range - (1,1) (1,3) True
2 ngram_range - (1,1) (3,3) True
3 ngram_range - (1,3) (3,3) True
4 tokenizer * ngram_range char (1,1) (1,3) True
5 tokenizer * ngram_range char (1,1) (3,3) True
6 tokenizer * ngram_range char (1,3) (3,3) True
7 tokenizer * ngram_range mecab-neologd (1,1) (1,3) True
8 tokenizer * ngram_range mecab-neologd (1,1) (3,3) True
9 tokenizer * ngram_range mecab-neologd (1,3) (3,3) True
Parametric T dof alternative p-unc p-corr p-adjust BF10 \
0 True 43.576 99.0 two-sided 0.0 NaN NaN 5.158e+62
1 True -216.416 99.0 two-sided 0.0 0.0 bonf 7.548e+129
2 True 48.683 99.0 two-sided 0.0 0.0 bonf 1.649e+67
3 True 247.933 99.0 two-sided 0.0 0.0 bonf 4.502e+135
4 True -229.806 99.0 two-sided 0.0 0.0 bonf 2.677e+132
5 True -173.003 99.0 two-sided 0.0 0.0 bonf 2.368e+120
6 True -7.464 99.0 two-sided 0.0 0.0 bonf 2.666e+08
7 True -69.816 99.0 two-sided 0.0 0.0 bonf 1.301e+82
8 True 257.836 99.0 two-sided 0.0 0.0 bonf 2.078e+137
9 True 356.651 99.0 two-sided 0.0 0.0 bonf 1.29e+151
hedges
5 -20.525
6 -0.607
7 -4.692
8 32.934
9 37.888
おわりに
scikit-learnでのテキスト分類を最近勉強し始めたのですが、パラメータが多く、何をどう設定すればよいかあまりわからない状態でした。
必ずしも一般性のある結果ではありませんが、各種パラメータが精度にどう影響を与えるのかの感覚がつかめた気がしたので良かったです。
異なる学習モデルやコーパスで学習する検証も機会があればやってみたいです。
参考
scikit-learnのドキュメント。特に、CountVectorizer, TfidfVectorizer, HashingVectorizerに関する部分。
https://scikit-learn.org/stable/modules/classes.html#module-sklearn.feature_extraction.text
対応あり分散分析のパッケージ
https://www.statsmodels.org/dev/generated/statsmodels.stats.anova.AnovaRM.html
pairwise_ttest用のパッケージ
https://pingouin-stats.org/generated/pingouin.ttest.html