言語処理100本ノック 2015の挑戦記録です。環境はUbuntu 16.04 LTS ＋ Python 3.5.2 :: Anaconda 4.1.1 (64-bit)です。過去のノックの一覧はこちらからどうぞ。
第8章: 機械学習
本章では，Bo Pang氏とLillian Lee氏が公開しているMovie Review Dataのsentence polarity dataset v1.0を用い，文を肯定的（ポジティブ）もしくは否定的（ネガティブ）に分類するタスク（極性分析）に取り組む．
###75. 素性の重み
73で学習したロジスティック回帰モデルの中で，重みの高い素性トップ10と，重みの低い素性トップ10を確認せよ．
####出来上がったコード：
# coding: utf-8
import codecs
import numpy as np
fname_features = 'features.txt'
fname_theta = 'theta.npy'
fencoding = 'cp1252' # Windows-1252らしい
# 素性読み込み
with codecs.open(fname_features, 'r', fencoding) as file_in:
features = list(file_in)
# 学習結果の読み込み
theta = np.load(fname_theta)
# 重みでソートしてインデックス配列作成
index_sorted = np.argsort(theta)
# 上位、下位10件表示
print('top 10')
for index in index_sorted[:-11:-1]:
print('\t{}\t{}'.format(theta[index],
features[index - 1].strip() if index > 0 else '(none)'))
print('worst 10')
for index in index_sorted[0:10:]:
print('\t{}\t{}'.format(theta[index],
features[index - 1].strip() if index > 0 else '(none)'))
####実行結果：
top 10
2.5513381450571875 refresh
2.3661550679971954 engross
2.1686400756091198 unexpect
1.9558595013013638 examin
1.921611726928927 remark
1.8642762301453122 glorious
1.6736177761639448 quiet
1.6361584092330672 delight
1.6264395695012035 confid
1.6207851665872708 beauti
worst 10
-2.6661835195544206 bore
-2.381809993645082 dull
-2.264732545707236 wast
-2.0944221636736557 fail
-2.043315628825945 flat
-1.9875250134818985 mediocr
-1.921981567258377 worst
-1.9199082235005225 suppos
-1.9103686908457609 routin
-1.8511208689897838 appar
###素性の重み
素性の重みは$ \theta $の値そのものです。値が大きければその語が出現した際に仮説関数の値が肯定側へと大きくなりますし、値がマイナスなら否定側へと小さくなります。
ステミングした結果なので単語が途中で切れているものもありますが、トップ10は肯定的な単語、ワースト10は否定的な単語が並んでいるようですので、思った通りに素性の重みが学習できているようです。
###ソートした結果のインデックス取得
素性の重みでソートするのは簡単なのですが、少し工夫が必要です。
コード上では素性の重み$ \theta $は行列thetaに格納されていて、対応する素性の文字列配列はfeaturesに格納されています。ここで単純にthetaの値でソートするとthetaだけが並び変わってしまい、トップ10やワースト10の重みの値はわかるものの、対応する素性がわかりません。そのためfeaturesも連動して並び替えないといけません。これはちょっと面倒です。
ここで便利なのがNumpy.argsort()です。これは対象配列をソートするのですが、その結果として返してくれるのは並び替えた値の配列ではなく、並び替えた結果のインデックスの配列になっています。
例えば今回のように普通に昇順でソートすると、戻り値は [最少値の要素のインデックス, 2番目の要素のインデックス, ... 最大値の要素のインデックス] という形になります。そのため、返ってきたインデックスを使って、素性の配列featuresの該当要素を見れば対応する素性がわかります。これは便利！
なお、1つだけ注意しないといけないのは、thetaは3,228要素からなる行列なのに対してfeaturesは3,227要素である点です。問題73のベクトル化で説明したようにthetaの先頭要素は「素性なし」に対応する重みなので、1つずれています。そのため、featuresの該当要素を調べる時はインデックスを-1してください。インデックスが0なら「素性なし」に対応する重みです。
76本目のノックは以上です。誤りなどありましたら、ご指摘いただけますと幸いです。
実行結果には、100本ノックで用いるコーパス・データで配布されているデータの一部が含まれます。