Microsoft Power BI Desktop と Cognitive Services による Twitter テキスト分析レポート(2)

前回は、Microsoft Flow を利用して、キーワードによる Twitter 検索データを自動抽出＆保存するフローを作成し、OneDrive に配置した Excel シートにデータを取得しました。
今回は、Microsoft Power BI Desktop にデータを取り込み、Microsoft Cognitive Services の Text Analytics API を利用して、Tweet テキストのネガポジ分析を行います。

手順

0.準備
1. Flow で Twitter キーワード検索データを OneDrive 上の Excel に保存するフローを作成
2. Power BI Desktop & Cognitive Services で Twitter テキストデータを分析
3. 取得＆分析した Twitter テキストデータを Power BI Desktop でグラフィカルに表示

2. Power BI Desktop & Cognitive Services で Twitter テキストデータを分析

以下の手順ではキーワード="microsoft" を含む Tweet を一定期間 (2016/11末) 取得したデータを利用します。お好みのキーワードで設定した Tweet 検索データをご利用ください。
同じデータを使いたい方はこちらをお使いください > tweetstream.xlsx

2.1 Power BI Desktop から Tweet 検索データにアクセスする

1.で取得した Tweet 検索データ(Excel ファイル)を使用します。今回は一旦 Excel ファイルをダウンロードしておきます。OneDrive にアクセスし、tweetstream.xlsx を選択、上部バーの [ダウンロード] をクリックしてダウンロードします。

OneDrive アプリでローカル環境と同期設定しておけば、自動で Excel ファイルをローカル環境に保存することができます。

Power BI Desktop を起動します。初期画面から [データの取得] をクリックし、[データを取得]ダイアログで "Excel" を選択して、[接続]をクリックします。 Tweet 検索データ(Excel ファイル) を選択して開きます。

初期画面が表示されない場合は、ホーム画面で [データの取得]＞[Excel] をクリックします。

データの中身が表示されます。ここではデータが挿入されているテーブルを選択し、[編集] をクリックしてデータの加工を行います。

クエリエディターでテーブルが読み込まれた状態で表示されます。テーブル名を右クリックして [名前の変更] をクリックし、"TweetStream" に変更します。

これは "クエリ" と呼ばれる元の Excel ファイルからデータにアクセスするため接続 (とデータ編集方法をまとめたもの) です。

[TweetStream] に名前を変更したクエリが表示されています。[user_id] カラム左端をクリックし、データの型を [テキスト] に変更します。同様に [tweet_id] カラムも [テキスト] に型を変更します。

2.2 テキスト分析を行うデータを準備する

画面左バーの [クエリ] の列に表示されている [TweetStream] を右クリックして、[複製] を選択します。すると同じ内容のクエリが新たに作成されますので、クエリ名を "SentimentAnalytics" に変更します。

[SentimentAnalytics] のクエリで、[tweet_id] カラムを右クリックして [名前の変更] を選択し、"id" に変更します。

lang のカラム右端をクリックし、"(すべて選択)" のチェックボックスを外して "en" のみにチェックをつけ、[OK] をクリックします。

現在、日本語でのネガポジ分析機能は提供されていないため、データを英語のみに限定します。

テキスト分析に必要なデータは id, text のみのため、他のデータ列を削除します。[id] と [text] の列両方を選択して右クリックし、"他の列の削除" を選択します。

データから空白行を削除します。[id] と [text] の列両方を選択してから、上部バーの [行の削除] ＞ [空白行の削除] をクリックします。

一度に API Call 出来るデータ量に限りがあるので、データ行を減らします。上部バーの [行の保持]＞[上位の行を保持] をクリックします。

今回はデータを 500 行に絞ります。"500" と入力して [OK] をクリックして確定します。

2.3 Text Analytics API に接続して分析を行う関数を作成する

今回は Cogitive Services Text Analytics API を利用して、Sentiment 分析 (ネガポジ分析) を行います。テキストをを分析して、ネガティブ～ポジティブを 0～1 の間でスコアとして評価することができます。

クエリエディターの画面で、上部バーから [新しいソース] ＞ [空のクエリ] をクリックします。

作成したクエリを選択して右クリックし、名前を "GetSentimentAnalytics" に変更します。再度右クリックして [詳細エディター] を選択します。

[詳細エディター] ダイアログで、デフォルトで入力されているクエリ文を下記のように書き換えます。(YOUR_SUBSCRIPTION_KEY の部分は準備の手順で取得した Text Analytics のサブスクリプションキーを入れてください。) 入力できたら [完了] をクリックして詳細エディターを閉じます。

(Source as table) as any =>
let
    JsonRecords = Text.FromBinary(Json.FromValue(Source)),
    JsonRequest = "{""documents"": " & JsonRecords & "}",

    JsonContent = Text.ToBinary(JsonRequest, TextEncoding.Ascii),
    Response =
        Web.Contents("https://westus.api.cognitive.microsoft.com/text/analytics/v2.0/sentiment?",
            [
                Headers = [#"Ocp-Apim-Subscription-Key"= "YOUR_SUBSCRIPTION_KEY",
                           #"Content-Type"="application/json", Accept="application/json"],
                Content=JsonContent 
            ]),
    JsonResponse = Json.Document(Response,1252)
in
    JsonResponse

ここでは、Source(引数として指定) のデータを取得し、Text Analytics API の Sentiment Analytics を行うサービスに POST するためのフォーマット↓を作成して API Call します。
POST https://westus.api.cognitive.microsoft.com/text/analytics/v2.0/sentiment HTTP/1.1
Content-Type: application/json
Host: westus.api.cognitive.microsoft.com
Ocp-Apim-Subscription-Key: YOUR_SUBSCRIPTION_KEY
{
  "documents": [
    {
      "id": "123456789",                       // 一意になる id を設定
      "text": "Cognitive Services is great!"   // 分析するテキスト
    }
  ]
}

2.4 Tweet 検索データをセットしてネガポジ分析を実行する

画面左列バーの [クエリ] で [Sentiment Analytics]を右クリックして [複製] を選択します。クエリの名前を "SentimentResult" に変更しておきます。

[SentimentResult] のクエリ画面で [id] のカラムをクリックしてから、上部の関数バーの [fx] をクリックします。

関数バーに "= 保存された先頭行" と表示されるので、編集して "= GetSentimentAnalytics (保存された先頭行)" に変更し、確定します。(Enterキーを入力、または関数バーの ✔ をクリックします。)

データが非表示になったら、ネガポジ分析結果の取得は完了です。"document" の列にある "List" をクリックします。

[List] カラムを右クリックして [テーブルへの変換] を選択します。

[テーブルへの変換] ダイアログで [OK] をクリックして、テーブルへの変換を完了します。

Cognitive Services から取得した分析データは JSON 形式のため、変更を行っています。

[Column1] の右端をクリックして、(すべての列の選択) にチェックが入っていることを確認し、"元の列名をプレフィックスとして使用します" のチェックボックスを外し、[OK] をクリックします。

[id],[score] の列、データが表示されたら、分析データの取得は完了です。カラムの左端をクリックして、型を "10進数" に変更しておきます。

2.5 ネガポジ分析データを結合する＆レポートしやすいように加工する

クエリエディターの上部バーにある [クエリのマージ]＞[新規としてクエリをマージ] をクリックします。

[マージ] ダイアログで、上部には [TweetStream]、下部には [SentimentResult] を選択します。照合列として [TweetStream] は "tweet_id" 列、[SentimentResult] は "id" 列をクリックして選択します。[結合の種類] には右外部を選択します。[OK] をクリックして確定します。