目次

はじめに
本記事の概要
作成したプログラム・サンプルデータの概要
実装内容
精度向上への道のり
今後の活用
おわりに

はじめに

※このブログはAidemy Premiumのカリキュラムの一環で、受講修了条件を満たすために公開しています

はじめまして。SE歴3年程のMiss-pancakeです。

大学時代の専攻は情報工学や理工学分野ではなかったため、未経験からキャリアをスタートしました。今後のキャリアパスに必要なスキルを再検討する機会があり、①保守運用業務の経験が長く、実装力に不安があったこと、②データサイエンス分野の課題解決手法を学ぶ必要があると思い至ったことから、仕事の傍らデータ分析講座を受講することにしました。

本記事の概要

本記事では、機械学習の手法のうち、RandomForestを使用した分類モデルの構築について説明します。

想定読者
機械学習の初歩的な知識がある方（※1）、分類モデルに興味がある方

メインテーマ
RandomForestを使用した分類モデルのデータ取得・成形から学習・検証までのプロセス、精度向上の試み（※2）

※1 プログラミング用語や機械学習用語など、詳細な説明は省略します
※2 回帰モデルや、分類モデルのRandomForest以外の手法については説明しません

作成したプログラム・サンプルデータの概要

趣味で外国語の習得に励んでいることもあり、語学学習の助けになるツールを作成したいと考えていました。そのため、講座で学んだ機械学習の分類モデルと自然言語処理を用いて「英語ニュース記事のカテゴリ分類モデル」を作成することにしました。

データセット探し
データセットを探す際、必要なデータをリストアップすることから始めました。
教師あり学習では、目的変数と説明変数を用意する必要があります。

目的変数：原因によって生じた結果の変数(正解ラベルになる値)
説明変数：求めたい事象の原因となっている変数

「英語ニュース記事のカテゴリ分類」に必要なデータとして、以下を候補に挙げました。

目的変数：ニュース記事のカテゴリ名
説明変数：ニュース記事の内容（タイトルや本文）

上記データを持つデータセットを探したところ、Kaggleで見つけることができました。

実装方法

講座で学んだ知識をもとに、プログラムの処理の流れを日本語で書き出す
Kaggleのニュースカテゴリ分類コンペで他者が実装したコードからヒントを得て、１に肉付けしていく
Kaggleのふるまいで不明点がある場合やエラーハンドリングに時間がかかった場合、Aidemyの技術カウンセリングを活用してアドバイスをもらう

環境について
私はKaggleで最適なデータセットを発見したため、インポートしやすいKaggleで開発しました。（使用言語：Python3.10.13）

実装内容

ライブラリ
まずは、必要なライブラリをインポートします。
実装を進めていく上で必要なライブラリが増えていくため、適に追記します。
下記は最終版です。

import.py

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt
import seaborn as sns
import os
import re
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import sent_tokenize, word_tokenize, RegexpTokenizer
from nltk.stem import PorterStemmer
from wordcloud import WordCloud, STOPWORDS
import tensorflow as tf
from tensorflow import keras
from keras.preprocessing import sequence
from keras.preprocessing.text import Tokenizer, text_to_word_sequence
from keras.layers import Embedding
from keras.initializers import Constant
from tensorflow.keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score

ソースコードを実装していって、足りないモジュールがあればpipでインストールします。
私は、ライブラリをimportするソースコードのブロックの前に新しくソースコードのブロックを追加し、以下のソースコードを実行しました。

!pip install tfIdfInheritVectorizer

データの読み込み
データセットがjson形式のファイルだったため、以下のソースコードで読み込みます。

read_json.py

# データを読み込む
df = pd.read_json('../input/news-category-dataset/News_Category_Dataset_v3.json', lines=True)

データの前処理
以下のソースコードを実行して、データのクレンジングを行います。
データセットには、今回の学習・検証に不要なカラムが含まれているため、削除します。

preprocessing.py

# 不要なカラムを削除
all_df = df.drop(columns=['authors','date', 'link'])
all_df = df.reindex(columns=['headline','short_description','category'])

※カラムを削除する前後で、以下のソースコードを実行してdataframeの先頭5行を表示し、カラムを確認します。

preprocessing.py

all_df.head()

カラム削除前

カラム削除後

全体のデータ量を確認しておきます。

preprocessing.py

# データ量を確認
all_df.shape

出力結果

(209527, 3)

続いて、目的変数となるカテゴリ名と数を確認します。

preprocessing.py

#目的変数の数
cates = all_df.groupby('category')
print("total categories:", cates.ngroups)
print(cates.size())

出力結果

total categories: 42
category
ARTS               1509
ARTS & CULTURE     1339
BLACK VOICES       4583
BUSINESS           5992
COLLEGE            1144
COMEDY             5400
CRIME              3562
CULTURE & ARTS     1074
DIVORCE            3426
EDUCATION          1014
ENTERTAINMENT     17362
ENVIRONMENT        1444
FIFTY              1401
FOOD & DRINK       6340
GOOD NEWS          1398
GREEN              2622
HEALTHY LIVING     6694
HOME & LIVING      4320
IMPACT             3484
LATINO VOICES      1130
MEDIA              2944
MONEY              1756
PARENTING          8791
PARENTS            3955
POLITICS          35602
QUEER VOICES       6347
RELIGION           2577
SCIENCE            2206
SPORTS             5077
STYLE              2254
STYLE & BEAUTY     9814
TASTE              2096
TECH               2104
THE WORLDPOST      3664
TRAVEL             9900
U.S. NEWS          1377
WEDDINGS           3653
WEIRD NEWS         2777
WELLNESS          17945
WOMEN              3572
WORLD NEWS         3299
WORLDPOST          2579
dtype: int64

カテゴリ別のデータ量をわかりやすくグラフで可視化します。

preprocessing.py

# カテゴリの頻度に基づいて並べ替えられたカテゴリのリストを取得
category_order = df['category'].value_counts().index

# 頻度順に並べ替えたカテゴリでカウントプロットを描画
sns.countplot(y="category", order=category_order, data=df)

# プロットを表示
plt.show()

以下3つの理由から、今回はデータ量が多い順に上位10カテゴリの分類を行うことにしました。
・全データ量が20万レコード以上と多く、過学習の可能性あり
・目的変数が41個と多く、学習の精度が落ちる可能性あり
・カテゴリごとのデータ量に偏りがあり、学習にも偏りが出る可能性あり

まず、目的変数を41個→10個に絞る処理を実装します。

preprocessing.py

# カテゴリーのカウント数を計算
category_counts = all_df['category'].value_counts()

# カウント数の上位10個のカテゴリーを選択
top_10_categories = category_counts.head(10).index

# 上位10個のカテゴリーに該当するインデックスを抜き出す
top_10 = all_df[all_df['category'].isin(top_10_categories)]
top_10 = top_10.reset_index(drop=True)

# 結果の表示
print(top_10['category'].value_counts())

出力結果

category
POLITICS          35602
WELLNESS          17945
ENTERTAINMENT     17362
TRAVEL             9900
STYLE & BEAUTY     9814
PARENTING          8791
HEALTHY LIVING     6694
QUEER VOICES       6347
FOOD & DRINK       6340
BUSINESS           5992
Name: count, dtype: int64

次に、ばらつきがある各カテゴリのデータ量を、MAX6000レコードごとに統一します。

preprocessing.py

カテゴリごとのデータ量の偏りをなくすためにレコード数を調整する
politics_df = top_10[top_10['category'] == 'POLITICS']
politics_df = politics_df.sample(n=6000)
wellness_df = top_10[top_10['category'] == 'WELLNESS']
wellness_df = wellness_df.sample(n=6000)
entertainment_df = top_10[top_10['category'] == 'ENTERTAINMENT']
entertainment_df = entertainment_df.sample(n=6000)
travel_df = top_10[top_10['category'] == 'TRAVEL']
travel_df = travel_df.sample(n=6000)
style_beauty_df = top_10[top_10['category'] == 'STYLE & BEAUTY']
style_beauty_df = style_beauty_df.sample(n=6000)
parenting_df = top_10[top_10['category'] == 'PARENTING']
parenting_df = parenting_df.sample(n=6000)
health_df = top_10[top_10['category'] == 'HEALTHY LIVING']
health_df = health_df.sample(n=6000)
queer_df = top_10[top_10['category'] == 'QUEER VOICES']
queer_df = queer_df.sample(n=6000)
food_df = top_10[top_10['category'] == 'FOOD & DRINK']
food_df = food_df.sample(n=6000)
business_df = top_10[top_10['category'] == 'BUSINESS']
top_10 = pd.concat([politics_df, wellness_df, entertainment_df, travel_df, style_beauty_df, parenting_df, health_df, queer_df, food_df, business_df], axis=0)

new_df = top_10.sample(frac=1, ignore_index=True)

最後に、データ量と、レコードがカテゴリごとにまとまっていないことを確認します。

preprocessing.py

new_df.shape
new_df.head()

出力結果

(59992, 5)

データのクレンジング
データの前処理が完了したら、学習・検証に使用しやすいようにクレンジングしていきます。
今回必要な処理は主に以下の２つです。
（１）文字列を数値化する
（２）文字列を単語ごとに分解する

（１）文字列を数値化する
　　　機械学習の際、目的変数と説明変数は数値にする必要があるため、目的変数のカテゴリ名をIDに変換し、category_idカラムに格納し、文字列を数値ベクトルに変換します。

preprocessing.py

# カテゴリをIDに変換する
categories = new_df.groupby('category').size().index.tolist()
category_int = {}
int_category = {}
for i, k in enumerate(categories):
    category_int.update({k:i})
    int_category.update({i:k})

new_df['category_id'] = new_df['category'].apply(lambda x: category_int[x])

#文字列を数値ベクトルに変換する
EMBEDDING_DIM = 100

embeddings_index = {}
f = open('../input/glove-global-vectors-for-word-representation/glove.6B.100d.txt')
for line in f:
    values = line.split()
    word = values[0]
    coefs = np.asarray(values[1:], dtype='float32')
    embeddings_index[word] = coefs
f.close()

print('Total %s word vectors.' % len(embeddings_index))

（２）文字列を単語ごとに分解する
　　　文章を単語レベルに分解する処理を実装します。

preprocessing.py

# シーケンスの長さを50に設定
maxlen = 50

# 文章を単語に分解する
tokenizer = Tokenizer()
word_index = tokenizer.word_index

embedding_matrix = np.zeros((len(word_index) + 1, EMBEDDING_DIM))
for word, i in word_index.items():
    embedding_vector = embeddings_index.get(word)
    if embedding_vector is not None:
        embedding_matrix[i] = embedding_vector

embedding_layer = Embedding(len(word_index)+1,
                            EMBEDDING_DIM,
                            embeddings_initializer=Constant(embedding_matrix),
                            input_length=maxlen,
                            trainable=False)

（２）文字列を単語ごとに分解する　※続き
　　　テキストを分割するための３段階の処理を行う関数を実装します。引数として受け取ったテキストを単語に分割し、次にストップワードを取り除きます。最後に、品詞の原型を取り出し、品詞の原型を統合した文字列を返却する処理を行います。

preprocessing.py

def preprocess_text(text):
    # 1. textを単語に分解する
    tk = RegexpTokenizer('\s+', gaps=True)
    tokenized_data = tk.tokenize(text) 
    
    # 2. ストップワードを取り除く
    sw = stopwords.words('english')
    clean_text = [word.lower() for word in tokenized_data if word.lower() not in sw]
    
    # 3. Stemming（品詞の原型を抽出する）
    ps = PorterStemmer()
    stemmed_text = [ps.stem(word) for word in clean_text]
    
    # 品詞の原型のみを統合した文字列を返却する
    return " ".join(stemmed_text)

上記で実装した関数を使用し、学習・検証に使用する説明変数の形を整えます。

preprocessing.py

# 学習・検証対象のdataframeに、preprocess_text関数を適用する
new_df['headline'] = new_df['headline'].apply(preprocess_text)
new_df['short_description'] = new_df['short_description'].apply(preprocess_text)

# 前処理の完了したテキストを一つに統合し、新規カラムに格納する
new_df['text'] = new_df['headline'] + " " + new_df['short_description']

学習・検証
今回は、データ量も豊富なため、複数の学習器を組み合わせて汎化性能を高めることができるアンサンブル学習の手法、RandomForestを採用しました。

learning_and_verifying.py

# 説明変数をXに格納
X = new_df['text']

# 整数のクラスベクトルをバイナリクラス行列に変換
Y = to_categorical(new_df.category_id)

# データを訓練データと検証データに分割
seed = 29
x_train, x_val, y_train, y_val = train_test_split(X, Y, test_size=0.1, random_state=seed, stratify=Y)

# tf-idfで訓練データと検証データをベクトル化
vectorizer = TfidfVectorizer()
train_vec = vectorizer.fit_transform(x_train)
test_vec = vectorizer.transform(x_val)

# ランダムフォレストで学習
rf = RandomForestClassifier(n_estimators=100)
rf.fit(train_vec, y_train)

# 精度の出力
print("学習の結果：" + str(rf.score(train_vec, y_train)))
print("検証の結果：" + str(rf.score(test_vec, y_val)))

出力結果

学習の結果：0.9998703511631353
検証の結果：0.4221666666666667

結果の可視化
最後に、学習・検証の結果を可視化し、考察をまとめます。
(1)正解ラベルの数と、実際に予測した数を並べてグラフ化
(2)ヒートマップ

(1)正解ラベルの数と、実際に予測した数を並べてグラフ化
　グラフにしたところ、"ENTERTAINMENT"を最も多く予測していることがわかりました。正解率が上がらない原因がここにありそうなことが見えました。

visualize.py

# 正解categoryごとにグループ化し、各カテゴリの頻度を計算
category_freq = top_10.groupby('category').size()
# 頻度を降順でソート
category_freq_sorted = category_freq.sort_values(ascending=False)
# ワンホットエンコーディングから元のクラスラベルに戻す
original_class_labels = np.argmax(y_val, axis=1)
# category_id とカテゴリ名のマッピングを作成
id_to_category = {category_id: category_name for category_id, category_name in enumerate(pd.DataFrame(category_freq_sorted).index)}
# 元に戻したラベルIDをカテゴリ名にマッピング
category_names = [id_to_category[label_id] for label_id in original_class_labels]


# 予測categoryごとにグループ化し、各カテゴリの頻度を計算
category_freq_pred = top_10.groupby('category').size()
# 頻度を降順でソート
category_freq_sorted_pred = category_freq_pred.sort_values(ascending=False)
# ワンホットエンコーディングから元のクラスラベルに戻す
original_class_labels_pred = np.argmax(pred_df, axis=1)
# category_id とカテゴリ名のマッピングを作成
id_to_category_pred = {category_id: category_name for category_id, category_name in enumerate(pd.DataFrame(category_freq_sorted_pred).index)}
# 元に戻したラベルIDをカテゴリ名にマッピング
category_names_pred = [id_to_category_pred[label_id] for label_id in original_class_labels_pred]

visualize.py

pd.DataFrame(category_freq_sorted).index

true_df = pd.DataFrame(category_names, columns=['category'])
pred_df = pd.DataFrame(category_names_pred, columns=['category'])
true_df['Type'] = 'True'
pred_df['Type'] = 'Pred'

concat_df = pd.concat([true_df, pred_df])

# カテゴリの頻度に基づいて並べ替えられたカテゴリのリストを取得
category_order = true_df.value_counts().index

# countplotで2種類のデータを重ねて表示
sns.countplot(y='category', hue='Type', data=concat_df)

# プロットを表示
plt.show()

# カテゴリの頻度に基づいて並べ替えられたカテゴリのリストを取得
category_order = top_10['category'].value_counts().index

# 頻度順に並べ替えたカテゴリでカウントプロットを描画
sns.countplot(y="category", order=category_order, data=top_10)

# プロットを表示
plt.show()

(2)ヒートマップ
　ヒートマップ化したことで、index=0、つまりENTERTAINMENTを最も多く予測していることがわかりました。さらなる制度改善のために、カテゴリのindex=0、という点に着目する必要がありそうです。

visualize.py

pd.DataFrame(category_freq_sorted).index

出力結果

Index(['ENTERTAINMENT', 'FOOD & DRINK', 'HEALTHY LIVING', 'PARENTING',
       'POLITICS', 'QUEER VOICES', 'STYLE & BEAUTY', 'TRAVEL', 'WELLNESS',
       'BUSINESS'],
      dtype='object', name='category')

visualize.py

cm = confusion_matrix(original_class_labels, original_class_labels_pred)
print(cm)

#sns.heatmap(cm, annot_kws={'size': 15},cmap='Accent')
sns.heatmap(cm,annot=True,fmt="d")

出力結果

[[560   4   3   6   2  16   1   2   6   0]
 [338 220   4   4   6  21   4   0   3   0]
 [233   2 358   1   1   1   0   3   1   0]
 [435   4   4 133   6   9   2   0   3   4]
 [339   1   2   5 245   1   1   3   3   0]
 [231   1   2   3   7 350   5   0   1   0]
 [228  16   2   2   4  11 336   0   1   0]
 [224   4   4   1   0   2   1 361   3   0]
 [320   2  12   3   0   0   0   5 257   1]
 [516   2  12  10   5   0   1   1   2  51]]

visualize.py

# 普通のコンフュージョンマトリックスの2次元配列
mat = confusion_matrix(original_class_labels, original_class_labels_pred)
# 各行合計に対する割合を計算し、小数点第3位を四捨五入した2次元配列
mat_dec = np.round(mat / np.sum(mat, axis=1), decimals=2)

fig, axes = plt.subplots(1, 2, figsize=(10, 10))
kwargs = dict(square=True, annot=True, cbar=False, cmap='RdPu')

# 2つのヒートマップを描画
for i, dat in enumerate([mat, mat_dec]):
    sns.heatmap(dat, **kwargs, ax=axes[i])

# グラフタイトル、x軸とy軸のラベルを設定
for ax, t in zip(axes, ['Real number', 'Percentage(per row)']):
    plt.axes(ax)
    plt.title(t)
    plt.xlabel('predicted value')
    plt.ylabel('true value')

精度向上への道のり

今回、実装する上で最も苦労したのが精度向上です。
結果的に、0.24211 → 0.42283 まで向上させることができたため、試したことをまとめます。
※上記にまとめたソースコードは、比較的精度の高かったNo.3です。

No.	カテゴリ数	レコード数	テストサイズ	RandomForestのハイパーパラメータ	学習スコア	検証スコア
1	42	209,527	0.1	n_estimators=100	0.99924	0.24211
2	10	124,787	0.1	n_estimators=100	0.99980	0.49507(※)
3	10	65,992	0.1	n_estimators=100	0.99987	0.42216
4	10	65,992	0.1	n_estimators=500	0.99994	0.42283
5	10	65,992	0.3	n_estimators=500	0.99997	0.41593

実際には、テストサイズの変更やハイパーパラメータのチューニングを表に書ききれない組み合わせの数で試していますが、スコアの変化が大きかった条件の組み合わせをピックアップしています。

※表を見るとNo.2の検証スコアが最も高くなっていますが、サンプルデータ量に偏りがあります。

▼No.2の正解カテゴリ数と予測カテゴリ数のグラフ

No.3-5は、検証スコアがNo.2より低いものの、サンプルデータ量を調整しているため正解ラベルの数が均一です。

▼No.3の正解カテゴリ数と予測カテゴリ数のグラフ

今回実装したプログラムには、精度面で課題が残っています。プログラムの修正も視野に入れ、引き続き精度向上に挑みたいと思います。

今後の活用

データ分析の手法は数多くあり、解決したい課題や使用するデータの特徴によって最適解が異なります。講座で学んだことを土台にし、精度の高いモデルを構築するアイデアや新しい知識を習得していきたいと思います。

おわりに

データ分析講座は、前半はインプット、後半はアウトプット中心のとても実践的な内容だったと感じています。Kaggleで他者のソースコードを見たり、第一線で活躍されているデータサイエンティストの方にカウンセリングをしていただいたり、初学者も微経験者もスキルアップできるカリキュラムだと感じました。

いずれは、今回作成したモデルを拡張し、英語や英語以外の言語の「ニュース記事の穴埋め問題」を開発したいと思っています。これまでの業務で培った経験と新しく学んだ知識を組み合わせ、これからも意欲的に学び続けていきたいです。