【初心者向け】Bog of wordsでテキストデータのベクトル化しよう

はじめに

今回はテキストデータの前処理を行いたいと思います。
最初はベーシックな手法であるBag of Words(BoW)を紹介します。

Q.そもそもなぜ前処理が必要か？

これは簡単で機械学習などでテキストデータを学習させたい時に、そのままでは使えないからです。

機械学習モデルは文章を学習することを前提としていないので、文字列を数字に置き換える必要があります。

環境

今回はGoogle Colaboratory上で動かしたいと思います。

実際のコードはこちらのGoogle Colabのノートを参照してください。

英文をBag of Wordsで表現してみよう

Bag of Wordsとは？

Bag of Wordsは文で登場した単語の回数を数えるための手法です。

今回は次の3文をBag of Wordsで表現してみます。

• This movie is very scary and long(この映画は怖くて長い)
• This movie is not scary and slow(この映画は怖くなくて、ゆっくり)
• This movie is spooky and good(この映画は不気味で、良い)

まずは３つの文をpandasのDataFrameに入れましょう

import pandas as pd

df = pd.DataFrame({
    'text':[
        'This movie is very scary and long',
        'This movie is not scary and  slow',
        'This movie is spooky and good'
    ]
})
df

次にscikit-learnのCountVectorizerと正規表現で文章をベクトル化しましょう

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer(token_pattern=u'(?u)\\b\\w+\\b')
bag = vectorizer.fit_transform(df['text'])
bag.toarray()

最後に各indexに対応している単語を確認しましょう
print(vectorizer.vocaburary_)