はじめに

本記事は、下記のとおり【前編】から続く内容になっています。


【流れ】

　1.~ 5.【前編】

1. 分析の設計
2. データの収集
3. データの整形（1回目：最小限）
4. モデルの構築（ランダムフォレスト）
5. 可視化・考察
   以下【後編】
6. データの整形（文字化け対策）　←以下はここからのお話です
7. データの整形（不要語の削除）
8. データの整形（語幹の抽出・統合）
9. 目的変数修正
10. 上記を実装
11. 結論・今後の展望

全体を通して、そもそも何をしようとしているのか？

本記事ではTwitterのデータを利用して、ツイートのデータを感情分析しています。
感情分析の高精度なモデルが出来れば、ツイートに限らず様々な文章の感情を定量的に判定できるようになると考えます。
全体を通して、精度が高くなるようにデータの前処理やモデルの性能向上を実施しています。
（この感情分析で何をどう分類したいのか？ 具体例は【前編】のこちら で挙げております）
結果を先に申し上げると、当初 24.0% の精度だった感情予測モデルを 33.6% に引き上げました。
私は機械学習初心者であるため、試行錯誤の過程も残しておきたいと考えております。

1. 分析の設計～ 5. 可視化・考察

【前編】元自衛隊のエンジニア1年目がPythonで感情予測をした話 24.0%→25.5%
上記をご参照ください。

【前編】で構築したモデルの精度は25.5%でした。
【後編】で以下の解決策を検討し、精度の向上を目指します。

6. データの整形（文字化け対策）

6.1 目的

分析初期の時期にcsvファイルをWindowsエクスプローラから開いたとき、Excelにて開いていました。
当時、文字コードを確認せず閉じていたことに分析途中で気が付いたため、凡ミスですが是正のため修正します。

6.2 手段

Kaggleから再度データセットをダウンロードし、Windowsで開かずに文字コードUTF-8で実行環境へ読み込みます。
このパートはそれだけなので結果だけ簡単に記載いたします。7. ストップワード除去 からが本番です。

6.3 結果

1. 文字化けはなくなりました。
2. モデルの予測精度は期待に反して約0.5%下がりました。

【出力】ランダムフォレスト: 0.24966599866399466

6.4 可視化・考察

何が起きたかを詳しく見るために、差分を見てみます。
修正前の混同行列 － 修正後の混同行列 ＝ 以下の差分の混同行列

• 大きな変化はhappinessと予測する回数が418回増えたことです。
• 文字化けの有無だけでは、予測精度は大きく変化しないと言えそうです。

7. データの整形（ストップワード除去）

7.1 nltkライブラリのstop_word(English)を使う

7.1.1 目的

• 無意味な情報排除：文章の内容と直接関係のない単語を除外することで、解析精度を向上します
• メモリ使用量低減

7.1.2 手段

• nltkライブラリの英語stopwordが有名です。まずはこれを実行してみます。
• …が、その前にどんなワードが含まれているのか、気になるので確認します。

import nltk

# まずは内容確認
nltk.download('averaged_perceptron_tagger') # 品詞タグをダウンロード
def sort_words_by_pos(words):
    pos_tags = nltk.pos_tag(words) # 品詞タグ付け
    sorted_words = {}
    for word, pos_tag in pos_tags:
        if pos_tag not in sorted_words:
            sorted_words[pos_tag] = [word]
        else:
            sorted_words[pos_tag].append(word)
    return sorted_words

sorted_words = sort_words_by_pos(stop_words)

dictionary = {
    'IN': ['i', 'if', 'because', 'as', 'until', 'while', 'of', 'at', 'by', 'for', 'with', 'against', 'between', 'into', 'through', 'during', 'before', 'after', 'above', 'below', 'from', 'in', 'on', 'off', 'over', 'under', 'than'], 
    'PRP': ['me', 'myself', 'we', 'ours', 'ourselves', 'you', 'yourself', 'he', 'him', 'himself', 'she', 'her', 'it', 'itself', 'they', 'them', 'themselves'], 
    'PRP$': ['my', 'our', 'your', 'his', 'its', 'their'], 
    'VBP': ["you're", 'am', 'are', 'ain', 'didn', "weren't"], 
    'JJ': ["you've", 'theirs', 'further', 'few', 'other', 'such', 'own', 'same', 's', 'll', 'aren', "hadn't", "haven't", 'isn', 'mightn', "mustn't", 'needn', "shan't", "wasn't", "won't"], 
    'NN': ["you'll", 'do', 'about', 't', "don't", 'm', 'o', 're', 've', 'y', "aren't", 'couldn', "couldn't", "didn't", 'doesn', "doesn't", 'hasn', "hasn't", "isn't", "mightn't", "needn't", 'shouldn', "shouldn't", 'wouldn', "wouldn't"], 
    'VB': ["you'd", 'be', 'have', 'don', "should've"], 
    'NNS': ['yours', 'hers', 'weren'], 
    'VBZ': ['yourselves', "it's", "that'll", 'is', 'has', 'does', 'd'], 
    'VBD': ["she's", 'herself', 'was', 'were', 'did', 'hadn', 'haven', 'ma', 'mustn', 'shan', 'wasn', 'won'], 
    'WP': ['what', 'who', 'whom'], 
    'WDT': ['which', 'that'], 
    'DT': ['this', 'these', 'those', 'a', 'an', 'the', 'all', 'any', 'both', 'each', 'some', 'no'], 
    'VBN': ['been', 'had'], 
    'VBG': ['being', 'having', 'doing'], 
    'CC': ['and', 'but', 'or', 'nor'], 
    'TO': ['to'], 
    'RP': ['up', 'out'], 
    'RB': ['down', 'again', 'then', 'once', 'here', 'not', 'only

• 前提として、nltkのストップワードとは検索システムの運用において除外したいワードだそうです。
• 感情分析用ではないので、鵜呑みにするのは良くないですね。
• i, you, she などの代名詞や、will, must, had などの助動詞が多いです。
• nor, not, only など感情が含まれそうな単語も存在します。

# 下記のstopsを単語リストに適用して、削除します
stops = set(stopwords.words("english")) 

7.1.3 結果

• 単語数は150語減りました。
  登場単語の種類：30933語 → 登場単語の種類：30783語

• しかし、モデルの予測精度は期待に反して2.3%下がりました。
  ランダムフォレスト: 0.23224455611390285

7.1.4 可視化・考察

再び、何が起きたかを詳しく見るために、差分を見てみます。
修正前の混同行列 － 修正後の混同行列 ＝ 以下の差分の混同行列

• happiness　sadness　love の予測件数が目立ちます
• 上記の3つの感情増えた＝平滑化分類しやすくなった
• しかしnltkのストップワード適用だけでは、予測精度は大きく変化しないと言えそうです。
• 前述のとおり「検索機能のための単語リスト」なので、他に「感情予測用の単語リスト」が作れないか検討します。

7.2 自力でNGワードリストを作成

7.2.1 目的

• nltkのストップワードを今回のモデル構築にそのまま使うのは、やや乱暴だと考えます。
• 自分なりの工夫として、より精度の高い不要語の削除を狙います。

7.2.1 手段

• 【前編】で「単語ごとの出現回数をカウント」をしていることを活用し、出現数TOP100を確認します。
• 出現数TOP100を形態素解析し、最後は自分の判断で削除するかどうかアノテーションします。

!pip install wordcloud
from wordcloud import WordCloud

# ワードクラウドの作成
wordcloud = WordCloud(background_color='white', width=1500, height=700).generate_from_frequencies(dict(zip(counts_df_sorted['word'], counts_df_sorted['count'])))

# ワードクラウドの表示
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

import nltk
# 品詞判定用のライブラリをダウンロード
nltk.download('averaged_perceptron_tagger')

# 各単語の品詞を取得
pos_tags = nltk.pos_tag(word100)

以下のように品詞ごとに並べることで、アノテーション（deleteフラグを立てる）しやすくします

自力で作った疑似ストップワードリストで不要語の削除を行います

path = '/content/drive/MyDrive/Data for Colab Notebooks/20230303200335_頻出ワード100.xlsx'
df = pd.read_excel(path)
delete_list = df['word'].tolist()
delete_list
# '@'が含まれる文字とストップワードを削除
stops = set(delete_list)  
meaningful_words = [w for w in words if not w in stops and not re.match("^[@]", w)]

7.2.3 結果

• モデルの予測精度は期待に反して約1.4%下がりました。
  ランダムフォレスト: 0.24060464339402038

7.2.4 可視化・考察

再び、何が起きたかを詳しく見るために、差分を見てみます。
修正前の混同行列 － 修正後の混同行列 ＝ 以下の差分の混同行列

• 強いて言えば neutral worry happiness　sadness　の予測件数増減があります。
• しかし、私の技術レベルにおいて自前のストップワード適用だけでは、予測精度は上げられないと言えそうです。
• 次に同じく形態素解析を活用し、語幹の抽出による単語の統合により精度向上できないか検討します。

8. データの整形（nltk形態素解析、語幹の抽出）

8.1 目的

• 同じ語幹を持つ単語をまとめることができ、より正確な感情分析を行う
• 単語の形態変化によって生じる情報量の違いを排除し、感情分析の精度を向上させる

8.2 手段

1. まずは使うライブラリを検討
2. 関数を作成し、データを処理
3. 語幹抽出による単語数の削減効果と、モデルの精度を確認

• 語幹の具体的な抽出方法の例として、以下の様に行います。

import nltk
!pip install -U nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('omw-1.4')
nltk.download('wordnet')
# 単語の正規化
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()

def lemmatize_word(word, tag):
    if tag.startswith('NN'):
        return lemmatizer.lemmatize(word, pos='n')
    elif tag.startswith('VB'):
        return lemmatizer.lemmatize(word, pos='v')
    elif tag.startswith('JJ'):
        return lemmatizer.lemmatize(word, pos='a')
    elif tag.startswith('R'):
        return lemmatizer.lemmatize(word, pos='r')
    else:
        return word

# 形態素解析
from nltk.tokenize import word_tokenize
# from nltk.corpus import stopwords

# stop_words = set(stopwords.words('english'))

def tokenize_text(text):
    tokens = word_tokenize(text)
    tokens = [token.strip() for token in tokens]
    tagged_tokens = nltk.pos_tag(tokens)
    lemmatized_tokens = [lemmatize_word(token, tag) for token, tag in tagged_tokens]
    return [token.lower() for token in lemmatized_tokens if token.isalpha()]

clean_tweet_df['tokens'] = clean_tweet_df['content'].apply(tokenize_text)

# 変換履歴の表示
import itertools

def print_transformation_history(original_token, final_token):
    if original_token != final_token:
        print(f"{original_token} → {final_token}")

def print_top_transformation_history(df, n=10):
    all_tokens = list(itertools.chain.from_iterable(df['tokens']))
    transformed_tokens = list(itertools.chain.from_iterable(df['tokens_transformed']))
    transformed_count = len([t for t in transformed_tokens if t != ''])
    print(f"Total number of transformations: {transformed_count}")
    print("\nTop transformation history:")
    for original_token, final_token in itertools.zip_longest(all_tokens, transformed_tokens):
        if original_token is None or final_token is None:
            break
        print_transformation_history(original_token, final_token)
        n -= 1
        if n == 0:
            break

# 語幹の変換
import inflect
p = inflect.engine()

def stem_transform(token):
    return p.singular_noun(token) or token

clean_tweet_df['tokens_transformed'] = clean_tweet_df['tokens'].apply(lambda x: [stem_transform(token) for token in x])

# 過去形、進行形の変換
from textblob import TextBlob

def verb_transform(token):
    blob = TextBlob(token)
    if blob.tags[0][1] == 'VBD' or blob.tags[0][1] == 'VBN':
        return blob.words[0].lemmatize('v')
    elif blob.tags[0][1] == 'VBG':
        return blob.words[0].lemmatize('v')[:-1]
    else:
        return token

clean_tweet_df['tokens_transformed'] = clean_tweet_df['tokens_transformed'].apply(lambda x: ' '.join([verb_transform(token) for token in x]))

clean_tweet_df

8.3 結果

• 単語数は4,838語減りました
  登場単語の種類：30,933語 → 登場単語の種類：26,095語

• モデルの予測精度は期待に反して約0.2%下がりました。
  ランダムフォレスト: 0.25334001336005346

8.4 可視化・考察

再び、何が起きたかを詳しく見るために、差分を見てみます。
修正前の混同行列 － 修正後の混同行列 ＝ 以下の差分の混同行列

• 目立った差異がありませんでした
• 語幹の抽出による単語数削減だけでは、予測精度は大きく変化しないと言えそうです。
• ここで特徴量の調整を一旦離れて、目的変数の修正で精度向上を図ります。

9. 目的変数修正

9.1 目的変数削減（13個→8個）

9.1.1 目的

• 互いに密接に関連するカテゴリを減らすことで、予測性能を向上させることが出来る。
• データの偏りや不均衡をなくして、カテゴリへの過剰な適合を防ぐことが出来る。
• モデルの計算時間を低減することが出来る。

9.1.2 手段

　①モデルがどの目的変数に分類しているか
　②偏りや不均衡を発生させているのはどこか
　下図のように混同行列から確認していきます。

中間考察

分類タスクの典型的な例として
ガンの判定において「ガン発症者をガンでないと看過することを避けたい」 というものがあります。

感情を分類する時も同じく 「ネガティブな感情を看過することを避けたい」 と考えられます。

以上の検討から、分類を困難にしていると考えらえるneutral,worry, empty, boredom, enthusiasm を削減します。

# 削除したいクラスを書いて下記で~を記述する、あるいは残したいクラスを書く
drop_class = ["neutral","worry", 'empty', 'boredom', 'enthusiasm']
# 削除項目を~で指定して、削除項目以外をすべて取り出す
drop_Tweet = Tweet[~Tweet["sentiment"].isin(drop_class)]

　→ 20642 rows × 2 columns
　　40,000行のデータが約半分になりました。

どんな割合になるか？

angerは特に少ないものの、感情分析タスクにおいて重要な目的変数であると考え、残しています。

9.1.3 結果

【出力】ランダムフォレスト: 0.282807570977918

　→ 約28.3%とします

9.1.4 考察

対角線で正解できた割合を見ていきます。

① love以上の3つは正答率が比較的高い
② 下位5つは正答率0に近い
③ happiness saddness とその他の目的変数との混同が多い
　→ 下位の③で囲んでいる中において、混同数÷正解ラベル数9割を超えています。ほとんどがhappiness saddness に割り振られてしまっています。

• 一旦目的変数を13個に戻します。
• 次に別の手段として目的変数の統合を行います

9.2 目的変数統合（13個→6個）

9.2.1 目的

• データセットの行数を減らすことなく、目的変数だけを減らすため
• 互いに密接に関連するカテゴリをグループ化して、予測性能を向上させるため
• データの偏りや不均衡をなくして、カテゴリへの過剰な適合を防ぐため
• モデルの計算時間を削減するため

9.2.2 手段

• 言語として意味が近いものを統合する（例：empty=空虚 と boredom=物足りない）
• その他として極端に少ない正解ラベルをまとめる（例：otherとしてempty boredum relief=安心 を統合）

具体的には以下の様に、データを操作しました。

Tweet['sentiment'] = Tweet['sentiment'].apply(lambda x : x if x in ['happiness', 'sadness', 'worry', 'neutral', 'love'] else "other")

　↓　今回は割合の少なかった下位7個の目的変数を、otherと定義しました。

　　　　　　　　↓ otherに

9.2.3 結果

【出力】ランダムフォレスト: 0.25250501002004005

　→ 約25.3%とします

9.2.4 考察

※ other に多くの予測が集まっています。
※ neutral が上位3件のうち、やや少なめです。
① other neutral worry は正解率が約30～40%
② happiness sadness love は正解率が約3～8%
　→ラベルの正解数合計は①が2,000個台に対して②は1,000個台であり、その差は約2倍
　→しかし、正解率は①と②の間で3～10倍の差が開いている
　　→つまり happiness sadness love が苦手、 と考えられる
　　→ neutral が文章の特徴が低いクラスなので、worryやotherに分類されやすい と考えられる
　　　理由： neutral には「特徴的な単語が少ない文章」が分類されると考えられる
　　　　　　 worry と neutral を比べると、neutralの方が単語量が多いと考えられる

④ 悲しい文章などは特徴的。日常会話で使う種類の多い単語はneutralなものが多そう。
　→worryやotherに割り振られる確率は低いと考えられる

⑤ neutralで使われているのは30,000種類、worryは1,000種類のようなイメージ
　→ランダムフォレストの中では、該当の単語が出てきているかどうかで行き先が決められている。
　　→単語が多くても、一個でもworry的なものがあればworryに行ってしまうと考えられる。
　　　→アノテーション作業を考える。
　　　　「特徴的な単語がないな」→neutral行き
　　　　「少しでもworryだな」worryとなりそう


※happiness以下は1,000個台でデータ量が少ない。ランダムフォレストは単純なので、精度向上のため2,000個台の多いクラスに割り振ろうとする
　 → 結果、予測値が2,000台のクラスになると思われる。もう少しサンプリングするなどして、1,500ぐらいに揃えてみるのも良さそう。

10. 上記を組み合わせて実装

　6. 文字化け対策、7.2 不要語削除、8. 形態素解析による語幹の抽出、9.1 目的変数の削減

10.1 目的

• 精度30%以上を目指すため

10.2 手段

1. 6. 文字化け対策、7.2 不要語削除、8. 形態素解析による語幹の抽出、9.1 目的変数の削減 を実装
2. ランダムフォレストのパラメータを調整

10.3 結果

1. を実装した結果：ランダムフォレスト: 0.3305993690851735
   → 約33.6%：目標とする精度に到達しました。
2. ランダムフォレストのパラメータn_estimatorを1～501までの間で調整
   
   　実装した結果：ランダムフォレスト: 0.3359621451104101
   　　→ 約33.6%

10.4 考察

① happiness の正解率は46% sadness の正解率は69%
② suprise より下の感情の正解率は2%以下
　 happiness と sadness に分類されてしまっているのが大きな要因と考えられます。

11.結論・今後の展望

11.1 結論

現状のモデルだとこれ以上の大幅な精度向上は見込めなそうです。

11.1.1 精度が上がりづらくなっている理由

① ランダムフォレストは比較的単純なモデルなので限界がありそうです。

② データセットの特徴として、ツイートなので以下の理由から綺麗なテキストデータではないです。

• 話し言葉と書き言葉が混在している
• クラス数に偏りがある

11.2 今後の展望

11.2.1 他の手法を使った感情分析に挑戦してみます

11.2.2 感情予測モデルの汎用性について

• 当初目的のコールセンターのお客様の声だけでなく、「LINEの感情分析」「レビューの感情分析」などに、精度次第では横展開できそうだと感じました。
• 昨今の翻訳ツールや翻訳WebAPIをフル活用すれば、英語でモデルに学習させたとしても、日本語のテキストを予測することは出来るのではないかと考えます。

11.2.3 感情分析の言語の違いについて

今回は英語だったので、今後日本語のデータが準備できれば日本語でもやってみようと思います。

おわりに

以上となります。
機械学習に初めて挑戦しましたので、まだ入り口に立ったばかりと感じます。
今回の感情予測をきっかけに、データ分析のスキルをどんどん磨いていければと思います。

ここまでお読みいただき、本当にありがとうございました。

【前編】元自衛隊のエンジニア1年目がPythonで感情予測をした話 24.0%→25.5%