誰でも簡単にラインで自然言語処理をできるようにしてみた

2020/0829

LINE Bot公開終了しました

どゆこと？

投稿した文章に対して、11種類の自然言語処理を行ってくれるLINE Botです。
友達追加して解析したい文を投げる（&解析方法を選ぶ）だけで解析結果を見やすい形で返してくれます。

＞＞＞

＞＞＞

ひとまず試してみたい方はこちら（友達追加用QRコード）→

なおBot名の提案大募集中です。
（仮で付けたら一週間名称変更できませんでした...）

使い方

日本語で始まる文章を投げて、

解析方法*番号を半角数字で入力するだけ！

解析結果が見やすい&読みやすい形で返ってきます。

*)解析方法は
1 = 構文解析
2 = 固有表現抽出
3 = キーワード抽出
4 = 照応解析
5 = 類似度算出
6 = 文タイプ判定
7 = ユーザ属性推定
8 = 言い淀み除去
9 = 音声認識誤り検知
10 = 感情分析
11 = 要約
の１１種類から選択できます。

使ってみた結果

構文解析

投入した文章

このももとあのももはももたろうのももです。すももももももももたろうのなかまのももです。

結果

解析結果全文

＜構文解析＞
結果は
「表記」
(カナ読み / lemma / 品詞 / 副品詞)
の形で出力されます！

この
(コノ / この / 連体詞 / )

もも
(モモ / 桃 / 名詞 / )
と
(ト / と / 格助詞 / 連用)

あの
(アノ / あの / 連体詞 / )

もも
(モモ / 桃 / 名詞 / )
は
(ハ / は / 連用助詞 / )

ももたろう
(モモタロウ / 桃太郎 / 名詞 / )
の
(ノ / の / 格助詞 / 連体)

もも
(モモ / 桃 / 名詞 / )
です
(デス / です / 判定詞 / 終止)
。
( / 。 / 句点 / )

すもも
(スモモ / 李 / 名詞 / )
も
(モ / も / 連用助詞 / )

もも
(モモ / 桃 / 名詞 / )
も
(モ / も / 連用助詞 / )

ももたろう
(モモタロウ / 桃太郎 / 名詞 / )
の
(ノ / の / 格助詞 / 連体)

なかま
(ナカマ / 仲間 / 名詞 / )
の
(ノ / の / 格助詞 / 連体)

もも
(モモ / 桃 / 名詞 / )
です
(デス / です / 判定詞 / 終止)
。
( / 。 / 句点 / )

ちゃんと認識できてますね！

固有表現抽出

文章：
日本国憲法から

朕は、日本国民の総意に基いて、新日本建設の礎が、定まるに至つたことを、深くよろこび、枢密顧問の諮詢及び帝国憲法第七十三条による帝国議会の議決を経た帝国憲法の改正を裁可し、ここにこれを公布せしめる。

結果：

解析結果全文

＜固有表現抽出＞
結果は
「表記」
(標準表記 / 固有表現クラス / 拡張固有表現クラス)
の形で出力されます！

定まる
(定まる / PSN / / )

枢密顧問の諮詢及び帝国憲法第七十三条
(枢密顧問の諮詢及び帝国憲法第七十三条 / ART / / )

帝国議会の議決を経た帝国憲法
(帝国議会の議決を経た帝国憲法 / ART / / )

日本国民
(日本国民 / ORG / Ethnic_Group / )

新日本建設
(新日本建設 / ORG / Company / )

「新日本建設(新日本建設 / ORG / Company / )」
その発想はなかった...！

キーワード抽出

文章（引用元：COTOHA API）：

全部で14の自然言語処理・音声処理APIをご提供

言語のなかでも特にむずかしいとされる日本語の高精度な解析が可能なCOTOHA API。
テキスト解析や対話エンジン(テキスト/音声)などにご利用いただけます。

結果：

「COTOHA API」も抽出できています！

照応解析

文章：

山田君は山田研究所の所員です。彼は自然言語解析をテーマとしていますが、それは彼らの研究のほんの一部にすぎません。

結果：

けっこういい感じ！

（意味的）類似度判定

日本と韓国の憲法（の中身）が似ていると聞いたことがあるので、
じゃあ前文は？
ってことでやってみました。

文章：

日本国憲法前文

日本国民は、正当に選挙された国会における代表者を通じて行動し、われらとわれらの子孫のために、諸国民との協和による成果と、わが国全土にわたって自由のもたらす恵沢を確保し、政府の行為によつて再び戦争の惨禍が起ることのないようにすることを決意し、ここに主権が国民に存することを宣言し、この憲法を確定する。そもそも国政は、国民の厳粛な信託によるものであつて、その権威は国民に由来し、その権力は国民の代表者がこれを行使し、その福利は国民がこれを享受する。これは人類普遍の原理であり、この憲法は、かかる原理に基くものである。われらは、これに反する一切の憲法、法令及び詔勅を排除する。
日本国民は、恒久の平和を念願し、人間相互の関係を支配する崇高な理想を深く自覚するのであつて、平和を愛する諸国民の公正と信義に信頼して、われらの安全と生存を保持しようと決意した。われらは、平和を維持し、専制と隷従、圧迫と偏狭を地上から永遠に除去しようと努めてゐる国際社会において、名誉ある地位を占めたいと思ふ。われらは、全世界の国民が、ひとしく恐怖と欠乏から免かれ、平和のうちに生存する権利を有することを確認する。
われらは、いづれの国家も、自国のことのみに専念して他国を無視してはならないのであつて、政治道徳の法則は、普遍的なものであり、この法則に従ふことは、自国の主権を維持し、他国と対等関係に立たうとする各国の責務であると信ずる。
日本国民は、国家の名誉にかけ、全力をあげてこの崇高な理想と目的を達成することを誓ふ。

大韓民国憲法前文

悠久な歴史と伝統に輝く我々大韓国民は、3・1運動で建立された大韓民国臨時政府の法統と、不義に抗拒した4・19民主理念を継承し、祖国の民主改革と平和的統一の使命に立脚して、正義・人道と同胞愛で民族の団結を強固にし、全ての社会的弊習と不義を打破し、自律と調和を土台に自由民主的基本秩序をより確固にし、政治・経済・社会・文化のすべての領域において各人の機会を均等にし、能力を最高度に発揮してもらい、自由と権利に拠る責任と義務を完遂するようにし、(国)内では国民生活の均等な向上を期し、外(交)では恒久的な世界平和と人類共栄に貢献することで我々と我々の子孫の安全と自由と幸福を永遠に確保することを確認しつつ、1948年7月12日に制定され8次にわたり改正された憲法を再度国会の議決を経って国民投票によって改正する。

結果：

＞＞＞99.8%＜＜＜

マジ？

文タイプ判定

文章（引用元：JR東日本　新幹線の運行状況）：

北陸新幹線は、台風１９号の影響で、暫定ダイヤで運転しています。時刻等の詳細はＪＲ東日本ホームページをご確認下さい。

結果：

文章（叙述、質問、命令）の中では「命令」、
発話行為１９種の中で「directive (=指示)」
とかなり正確！

ユーザー属性推定

文章：

古池や蛙飛びこむ水の音

松尾芭蕉の属性は...

うーん？
どうやって推定してるんですかね？

言い淀み除去

文章：

あなたは、あのー、お母様と、お、お父様と、えーっと妹さんと、その、こちらに、えーっと、いらしたんですね

結果：

わりといい感じ？

音声認識誤り検知

文章：
もう一回日本国憲法から

朕は、日本国民の総意に基いて、新日本建設の礎が、定まるに至つたことを、深くよろこび、枢密顧問の諮詢及び帝国憲法第七十三条による帝国議会の議決を経た帝国憲法の快晴を裁可し、ここにこれを公布せしめる。

結果：

修正候補に関しては文内容との整合性を考慮していないっぽい。

感情分析

文章：

嬉しそうに見えてたけど、実は悲しかったらしい。

結果：

Positive wordとNegative word１個ずつならNeutralになるかと思ったけど違った。

要約

ちょうど近所のスーパーからLINEで広告が送られてきたので...
文章：

こんにちは(わーい)

明日 2/12（水）～2/15（土）
全国お取り寄せグルメを販売いたします！

今回は北海道の定番商品(きらきら)
「オタル製菓」の大鵬をご用意しました(ぴかっ)
米ぬか油でカラッと揚げた生地に、香り豊かな本醸造醤油（保存料無添加）とビート糖をブレンドした独自の甘辛い糖蜜を掛けたスナック菓子です。

是非、ご賞味ください。

ご来店お待ちしています(きゅん)

結果：

＞＞＞＞ご来店お待ちしています(きゅん)。＜＜＜＜

確かに重要...！

使ったもの

・GAS (Google App Script)
・LINE API
・COTOHA API

コード（後日公開予定）

公開するには汚すぎたので、綺麗にしてからあげます...

参考

・スプレッドシート内を検索
・curl→gsに変換
・自然言語処理を簡単に扱えると噂のCOTOHA APIをPythonで使ってみた

また以下のコードどこから引用したのかわからなくなってしまったので、お心当たりある方は大変恐縮ですが該当コードが書かれている記事のURLを添えてコメントお願いします。
すぐに参考の方に追加させていただきます。

こんな感じのコード：

/*
LINEから送信されたデータをメイン処理する
———————————–*/
function doPost(e) {
  /* レスポンスを取得 */
  const responseLine = e.postData.getDataAsString();
  /* JSON形式に変換する */
  const responseLineJson = JSON.parse(responseLine).events[0];
  /* イベントへの応答に使用するトークンを取得 */
  const replyToken = responseLineJson.replyToken;

  var json = JSON.parse(e.postData.contents);
  //user_idの取得、var宣言をしなければグローバル化
  LINE_user_id = json.events[0].source.userId;

  /*– メッセージイベントの場合 ———————–*/
  if (responseLineJson.type == 'message') {
    messageController(responseLineJson, replyToken);
  }
}


/*
メッセージイベントの処理
———————————–*/
function messageController(events, replyToken) {
  const message = events.message;
  const input = message.text;
  var content = processing(input);
  var LineMessageObject = [{
      'type': 'text',
      'text': content
  }];

  replyLine(LineMessageObject, replyToken);
}

/*
LINEに返信する処理
———————————–*/
function replyLine(LineMessageObject, replyToken) {
    const replyHeaders = {
        'Content-Type': 'application/json',
        'Authorization': 'Bearer ' + LINE_TOKEN
    };

    const replyBody = {
        'replyToken': replyToken,
        'messages': LineMessageObject
    };

    const replyOptions = {
        'method': 'POST',
        'headers': replyHeaders,
        'payload': JSON.stringify(replyBody)
    };

    UrlFetchApp.fetch('https://api.line.me/v2/bot/message/reply', replyOptions);
}