1.はじめに
この記事は最近アップデートされたMicrosoft Cognitive Servicesで提供されているLanguage Understanding Intelligent Services(LUIS)のUIとその操作、Prebult entityに関する記事です
2.LUISの仕組み
LUISは自然言語処理エンジンです。仕組みはいままで多くの記事が出ていますので詳しくは書きませんが、LUISは何かの処理をしたい場合、処理の意図を示す「インテント」と、その処理をするために必要な変数「エンティティ」を認識して、ユーザーの入力をコンピュータが扱えるようにします。
例えば、「天気を知りたい」場合
人間が入力する文章は【今日の東京都の天気は？】というようになります。
ここで、インテントは【天気は？】の部分になります。
つぎに天気を知りたいのはわかったけど、「いつの？」「どこの？」という情報が無ければ天気を調べることができません。そこでエンティティを使います。
日時エンティティは【今日】
場所エンティティは【東京都】
といったように認識させることで、LUISは自然言語を扱えるようになります。
3.Prebuilt entity
LUISにはPrebuilt entity(旧称：Builtin Entity)というものがあります。
これは我々が学習させずとも最初から認識できるようになっている汎用的なエンティティです。例えば「日時」「温度」「年齢」などがあります。
Prebuilt entityは学習させる必要が無いだけでなく正規表現で返してくれるという最大の利点があります。
日時の処理を考えてみると、
日時の入力の形には「今日」「明日」「4/16」「2017年3月16日」というように様々な表現方法があります。Prebuilt entityを使用せずにそれぞれの形をLUISに覚えさせることはそれほど難しいことではないかもしれません。しかし、自然言語処理エンジンを組み込むアプリで正規化をしなければならなくなります。
「今日」だったら今日の日付を取ってきて・・・・
「4/16」なら今年の年の部分を取ってきて結合して・・・
「2017年3月16日」なら年月日を/で置換して・・・
となるととても大変です。そのためPrebuilt entityはそれらをすべて正規表現で返してくれるという機能があります。
詳しいPrebuilt entityの種類や正規表現の形については公式のドキュメントをご覧ください。
ちなみに(2017/03/16現在)公式ドキュメントを見ると日本語は対応していないようなのですが、試してみたところ認識はするようだったので、この記事のタイトルはあえて「対応」ではなく「認識」にしています。
4.実際に使ってみる
実際に新UIのLUISで新規作成~公開をやってみます。
4-1.新規作成
https://www.luis.ai/applications にアクセスします。
それぞれの必要事項を入力します。ここでCultureを間違えないように注意してください。
4-2.学習の準備
作成後、ダッシュボードが開きますので左ペインの[Intent]をクリックします。
処理の意図を示すIntentを新規作成します。
ここでは「天気を取得する」というIntentを作成します。
Intentを作成したら左ペインの[Entites]をクリックします。Prebuild entityにないエンティティを作成します。
天気を調べるには場所の情報が必要なので「地名」というエンティティを作成します。
次にPrebuilt entityの有効化です。
いつの天気を調べるかの情報も必要なので
Prebuilt entityとして用意されているエンティティの中から「datetime」にチェックを入れ、追加します。
これで「天気を調べる」というインテントと、「場所」「日時」２つのエンティティができました。
4-3.学習
作成した「天気を取得」インテントに学習させます。インテント一覧画面で「天気を取得」を選択します。
入力欄に実際に天気を調べたいときに入力されそうな文章を入れてEnterキーを押します。
そうするとLUISがその文章を読み込んで解析をします。ここではまだ何も学習させていないませんが、「今日」という日時を示す部分がPrebuilt entityのdatetimeとして認識されていることがわかります。しかし「東京」は地名だと認識されていないので、これを教えてあげます。「東京」をクリック。
自分で作ったエンティティリストが出てくるので「地名」を選択
これで、入力された文章にインテントとエンティティのマッピングが完了しました。
これをいろいろなパターンでしらみつぶしにやっていきます。
学習をするにはある程度のサンプル数が必要なのでもう少し文章を増やします。
ちなみにデフォルトでは[$~]となっているエンティティもLabel viewを変えると中身が見れます。
ある程度のサンプルを作成したら[save]をクリックして保存します。
最初のダッシュボードに戻ると、作成したインテント、エンティティの数などが変化しています。グラフなどを見ることで他と比べて学習が足りないインテントなどを一目で見つけることができます。
最後に、いままで入力した文章とそのマッピングをトレーニングさせるとLUISは学習を完了します。
左ペインの[Train & Test]をクリックし、[Train Application]をクリックします。すると学習処理が走ります。
学習が完了すると先ほどの「天気を取得」インテントのページの、図の箇所が変わっています。
[Train & Test]ページでは学習させたLUISをテストすることもできます。入力欄に何か文章を入れEnterキーを押すと、その文章をLUISに入力した時の結果を見ることができます。
4-4.公開
公開は左ペイン[Publish App]をクリックするとできます。ステージング・運用スロットができたのが地味にうれしいところです。
