はじめに

今回は自然言語処理でよく使われるリカレントニューラルネットワーク（RNN）の進化系である「LSTM」の実装をしていきます。

🌟リカレントニューラルネットワーク（RNN）まとめ（数式なし）
https://qiita.com/hara_tatsu/items/5304479f64297221135d

🌟双方向LSTM（Bidirectional LSTM）の実装
https://qiita.com/hara_tatsu/items/d1ddb5f1e0dee55dcdfa

実装

今回は題材としてkaggleの「映画レビューの感情分析」を利用します。
https://www.kaggle.com/c/sentiment-analysis-on-movie-reviews/data?select=sampleSubmission.csv

細かいフレーズに分割された映画レビューの感情を分析するモデルを構築します。

データの読み込み

必要なライブラリーとデータの読み込み。

python.py

import pandas as pd
import numpy as np

# 学習データ
train_data = pd.read_csv('train.tsv', delimiter = '\t')
print(len(train_data))

156060

# テストデータ
test_data = pd.read_csv('test.tsv', delimiter = '\t')
print(len(test_data))

66292

学習データから目的変数を取り出し、ダミー変数に変換。

python.py

Y = train_data['Sentiment']
Y = np.array(Y)
# 2次元化
Y = Y.reshape(-1, 1)

# ダミー変数へ変換
from tensorflow.keras.utils import to_categorical

Y = to_categorical(Y)
print(Y.shape)


(156060, 5)

学習データとテストデータから説明変数を取り出し、結合する。

python.py

# 学習データ
train = train_data['Phrase']

# テストデータ
test = test_data['Phrase']

# 学習データとテストデータを結合
total_data = pd.concat([train, test], axis=0)
print(len(total_data))

222352

自然言語の前処理

🌟自然言語の前処理の基本
①テキストを単語ごとに分割
②不要な単語を削除（#$%&+*など）
③数値化（ベクトル化）

今回は、テキストが英語のため、すでに単語ごとに区切りがあり不要な単語もない。
そのため、数値化の処理のみ行う。

🌟単語の数値化（ベクトル化）手法
・one_hotエンコーディング
・シンプルな数値化
・学習済モデルを使った数値化（Word2vec）

今回は、Tensorflowにある単語を数値化できるライブラリー「Tokenizer」を利用する。

「Tokenizer」を利用するにはデータをリスト型にする必要がある。

python.py

# numpy型へ変換
total_np = np.array(total_data)

# リスト型へ変換
total_list = total_np.tolist()

「Tokenizer」を利用してテキストを数値化

python.py

from tensorflow.keras.preprocessing.text import Tokenizer

# インスタンスを生成
keras_tokenizer = Tokenizer()
# 単語からデータを学習
keras_tokenizer.fit_on_texts(total_list)

# 学習した単語数
len(keras_tokenizer.word_index)

17780

# 単語を数値に変換
sequence_data = keras_tokenizer.texts_to_sequences(total_list)
# 1つ目のデータの変換結果
print(sequence_data[0])

[2, 315, 3, 16573, 7660, 1, 8313, 9, 53, 8, 47, 13, 1, 3940, 8, 187, 47, 13, 1, 13024, 61, 3, 89, 592, 12156, 19, 617, 3, 89, 2810, 5, 52, 3, 2, 42]

単語を数値に変換できたが、データごとに数値の長さが違っている。

python.py

# データによって数値の長さが違う
print(len(sequence_data[0]))
print(len(sequence_data[1]))

35
14

一番数値の長いデータに合わせるため、短いデータは「０」埋めすることで全てのデータの長さを揃える

python.py

from tensorflow import keras

X = keras.preprocessing.sequence.pad_sequences(sequence_data, padding = 'post')

print(len(X[0]))
print(len(X[1]))

52
52

これで自然言語の前処理が終わった。
次に学習用データ、検証用データ、テストデータに分割する。

python.py

# 学習データとテストデータを分割
train = X[:156060]
test = X[156060:]
print(train.shape)
print(test.shape)

(156060, 52)
(66292, 52)

from sklearn.model_selection import train_test_split

X_train, X_test, Y_train, Y_test = train_test_split(train, Y, test_size = 0.2, random_state = 0)
X_train, X_valid, Y_train, Y_valid = train_test_split(X_train, Y_train, test_size=0.2, random_state=0)

print(X_train.shape)
print(Y_train.shape)
print(X_valid.shape)
print(Y_valid.shape)
print(X_test.shape)
print(Y_test.shape)

(99878, 52)
(99878, 5)
(24970, 52)
(24970, 5)
(31212, 52)
(31212, 5)

🌟「Tokenizer」を使用する際の注意点
「Tokenizer」は、与えた単語のデータを学習して数値へ変換する。そのため、学習後に未知の単語データを与えても対応することができない。

対処方法としては、
①未知の単語データは削除する
②「Tokenizer」ではなく、学習済モデルを使って数値化する

今回のようなコンペやデータ分析をするためのモデルであれば「Tokenizer」で問題ないが、凡化性のある自然言語AIアプリを作る場合は、学習済モデルを使用した方がいい。

LSTMの実装

モデルの構築

python.py

from tensorflow.keras.layers import LSTM, Embedding, Dense

model = keras.Sequential()

# 埋め込み層（数値をベクトル表現化）
# 17781：単語の種類＋１、mask_zero = True：0を0埋め用の数値として扱う
model.add(Embedding(17781, 64, mask_zero = True))
# LSTM層
model.add(LSTM(64, return_sequences=True))
model.add(LSTM(32))
model.add(Dense(5, activation = 'sigmoid'))

model.summary()

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_3 (Embedding)      (None, None, 64)          1137984   
_________________________________________________________________
lstm_4 (LSTM)                (None, None, 64)          33024     
_________________________________________________________________
dropout (Dropout)            (None, None, 64)          0         
_________________________________________________________________
lstm_5 (LSTM)                (None, 32)                12416     
_________________________________________________________________
dense_4 (Dense)              (None, 5)                 165       
=================================================================
Total params: 1,183,589
Trainable params: 1,183,589
Non-trainable params: 0
_________________________________________________________________

python.py

model.compile(loss= 'categorical_crossentropy',
              optimizer= 'rmsprop',
              metrics = ['accuracy'])

log = model.fit(X_train, Y_train, epochs = 100, batch_size = 2048,
                callbacks=[keras.callbacks.EarlyStopping(monitor='val_loss',
                                                         min_delta=0,
                                                         patience=20,
                                                         verbose=1)],
               validation_data=(X_valid, Y_valid))

結果の確認

python.py

import matplotlib.pyplot as plt
# グラフ表示
plt.plot(log.history['loss'], label='loss')
plt.plot(log.history['val_loss'], label='val_loss')
plt.legend(frameon=False)
plt.xlabel("epochs")
plt.ylabel("crossentropy")
plt.show()

python.py

# グラフ表示
plt.plot(log.history['accuracy'], label='accuracy')
plt.plot(log.history['val_accuracy'], label='val_accuracy')
plt.legend(frameon=False)
plt.xlabel("epochs")
plt.ylabel("crossentropy")
plt.show()

python.py

# テスト用データ(Y_test)をダミー変数から通常の数値へ復元
Y_test_ = np.argmax(Y_test, axis=1)

from sklearn.metrics import classification_report

Y_pred = model.predict_classes(X_test)
print(classification_report(Y_test_, Y_pred))

 precision    recall  f1-score   support

           0       0.41      0.33      0.37      1504
           1       0.50      0.57      0.53      5453
           2       0.76      0.74      0.75     15982
           3       0.54      0.53      0.53      6441
           4       0.45      0.50      0.47      1832

    accuracy                           0.63     31212
   macro avg       0.53      0.53      0.53     31212
weighted avg       0.64      0.63      0.63     31212

正解率63%！！

過学習対策

最後に過学習対策を施したモデルを構築。

python.py

model = keras.Sequential()

model.add(Embedding(17781, 64, mask_zero = True))
# LSTM層
model.add(LSTM(64,
               dropout=0.1,
               recurrent_dropout=0.5,
               return_sequences=True))
model.add(LSTM(32,
               dropout=0.1,
               recurrent_dropout=0.5))
model.add(Dense(5, activation = 'sigmoid'))

model.summary()

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_5 (Embedding)      (None, None, 64)          1137984   
_________________________________________________________________
lstm_8 (LSTM)                (None, None, 64)          33024     
_________________________________________________________________
lstm_9 (LSTM)                (None, 32)                12416     
_________________________________________________________________
dense_6 (Dense)              (None, 5)                 165       
=================================================================
Total params: 1,183,589
Trainable params: 1,183,589
Non-trainable params: 0
_________________________________________________________________

python.py

model.compile(loss= 'categorical_crossentropy',
              optimizer= 'rmsprop',
              metrics = ['accuracy'])

%%time

log = model.fit(X_train, Y_train, epochs = 100, batch_size = 2048,
                callbacks=[keras.callbacks.EarlyStopping(monitor='val_loss',
                                                         min_delta=0,
                                                         patience=20,
                                                         verbose=1)],
               validation_data=(X_valid, Y_valid))

python.py

# グラフ表示
plt.plot(log.history['loss'], label='loss')
plt.plot(log.history['val_loss'], label='val_loss')
plt.legend(frameon=False)
plt.xlabel("epochs")
plt.ylabel("crossentropy")
plt.show()

python.py

# グラフ表示
plt.plot(log.history['accuracy'], label='accuracy')
plt.plot(log.history['val_accuracy'], label='val_accuracy')
plt.legend(frameon=False)
plt.xlabel("epochs")
plt.ylabel("crossentropy")
plt.show()

python.py

Y_pred = model.predict_classes(X_test)
print(classification_report(Y_test_, Y_pred))

precision    recall  f1-score   support

           0       0.46      0.42      0.44      1504
           1       0.52      0.57      0.54      5453
           2       0.77      0.73      0.75     15982
           3       0.54      0.56      0.55      6441
           4       0.49      0.48      0.48      1832

    accuracy                           0.64     31212
   macro avg       0.55      0.55      0.55     31212
weighted avg       0.64      0.64      0.64     31212

正解率64%!!

おわりに

過学習対策をしてもあまり結果は変わりませんでした。
kaggleのリーダーボードを確認しても同じような正解率で停滞しています。

※コード内の「LSTM」を「GRU」に変更すれば「GRU」を使った学習ができます。