はじめに

Splunk の機械学習機能で NLP(Natural Language Processing) Text AnalyticsというApp があり、感情分析できるのですが、残念ながら日本語対応していない・・・

また、DLTK (Deep Learning Toolkit)を使うと自然言語処理などができるので、LSTMなどを使って感情分析などの機能実装も可能なのですが、大量のデータを集めたり、Deep Learningのコード実装が必要だったりしてハードルが高い・・・

感情辞書を用いた方法も精度を高めるには苦労しそうだなー・・・　

と思っていたところ、Google Natural Language を使うとできるよという話を教えてもらいました。

すでに日本語での大量の学習済みモデルを使えるので、精度も高そうだし、APIで提供されているので実装も簡単そう。

ということで、Splunkにあるデータを使って、Google Natrual Language APIで感情分析させて、Splunkのダッシュボードで結果を表示させてみました。

実装概要イメージ

今回実装した方法は以下のようなイメージです。
将来的にはAppを作成するのも面白そうですが、一旦以下のように実装しました。

Step 1. データ読み込み

PythonでのSplunkデータの取り込み方法については、以前記事を書いているので、ここでは詳細は割愛させていただきます。

Pyhton コードで Splunk サーチ結果を読み込む (RestAPI編)
https://qiita.com/maroon/items/178a0c1263575597eea8

今回は、以下のように取得したデータを DataFrame形式にしております。こちらの comment 列の内容をGoogle NL APIを使って感情分析をさせたいと思います。

Step 2. Google NLP API による感情分析

この機能を利用するためには、いくつか準備が必要です。

Google Cloud Natural Language APIのクイックガイドがあるので、こちらに従って設定するのがいいかと思いますが、Cloud SDKを入れるため、Google Collaboratory などのWeb上の開発ツールだとうまく実行できなかったため、今回はこちらのDeveloper's Blog様の記事にあるAPI token実装による方法を採用しました。

Google Cloud 側の設定は途中までクイックガイドにある方法と同じですGoogle Cloud設定

設定手順

プロジェクト作成
課金の有効化 (5000件/月までは無料枠あり）
Google Natural Language APIの有効化
サービスアカウント作成
APIキーの発行

上記のAPIが利用できるようになったら、次にコード実装をします。
取得したAPIキーを以下の access_token の箇所に入力ください。

# 感情分析の関数設定
import sys
import requests

def check_sentiment(content):
    access_token = "<<API Key>>"   # API key 
    url = 'https://language.googleapis.com/v1/documents:analyzeSentiment?key={}'.format(access_token)
    header = {'Content-Type': 'application/json'}
    body = {
        "document": {
            "type": "PLAIN_TEXT",
            "language": "JA",
            "content": content
        },
        "encodingType": "UTF8"
    }
    response = requests.post(url, headers=header, json=body).json()
    return response

Splunkから取得したデータをデータフレームとして格納したため、以下のように、一件ごとループで上記の check_sentimentを実行していきます。

# 感情分析を実行する
magnitude = pd.Series(name='magnitude')
score = pd.Series(name='score')
gcp_output = pd.DataFrame()

for j in range(len(df)):
  output = check_sentiment(df['comment'][j])

  magnitude.loc[j] = output['documentSentiment']['magnitude']
  score.loc[j] = output['documentSentiment']['score']

gcp_output = pd.concat([df,magnitude,score],axis=1)

これで、それぞれのコメント毎に score と magnitude という結果が返ってきました。それぞれの意味についてはこちらをご覧ください。感情分析結果の値の解釈

Score : -1 から 1までの範囲で、1 に近いとポジティブ。 -1 に近いとネガティブとなります。 0に近いのはニュートラルもしくは、混在しているケースで、その場合 magnitudeを見て 0に近いとニュートラルだけど、数字が大きいと混在している可能性が高い。とのことです。

Step 3. Splunk に結果を返す。

RestAPIと HECを使って、Splunkにデータを取り込ませる方法については、こちらに別途記事が書いてありますので、ここでは割愛させていただきます。

[pythonでデータを Splunkに取り込む ( RestAPI + HECの組み合わせ）]
(https://qiita.com/maroon/items/66e92399f00800d5f069)

Step 4. Splunk上で分析・可視化する

従来のデータに感情分析結果が付与されたため、今まで出来なかったような分析ができるようになりました。これはデータ分析を進めていく上で非常にありがたい情報ですね。

最後に

日本語の自然言語処理って１から作ると大変ですが、このようなサービスを利用できるのは本当にありがたいですね。また、このGoogle Natural Languageのすごいところは、文章のままで感情分析をしてくれるというところです。単語ではないので、日本語の難しい言い回しや、最後に否定がきてもちゃんと意味理解をしてくれるし、かなり精度も高いように感じました。

ちなみに、5000件/月までは無料枠なので、感情分析はこの機能を利用して、他の自然言語処理（構文解析,エンティティ分析、形態素解析）などはSplunk のDLTKにある spacy (ginza) を使うといいのかなと思います。