COTOHA API での英語の解析

COTOHA APIを使えば日本語の解析ができる。
だが、COTOHA API なら、日本語の解析だけでなく、英語の解析もできる。

例えば、COTOHA API で "something just like this" を解析してみると、"サムシングジャストライクディス" というカタカナ読みが得られるのだ。

未登録語の解析

しかし、COTOHA API では、辞書にない単語はアルファベット1文字の読みを連結した読みになってしまうようだ。

{"form": "london", "kana": "エルオーエヌディーオーエヌ"}
{"form": "english", "kana": "イーエヌジーエルアイエスエッチ"}
{"form": "sunday", "kana": "エスユーエヌディーエーワイ"}

※必要な要素のみ

英単語をカタカナ読みに変換

英単語をカタカナに変換するのは、まさに「翻訳」だ。

英単語をアルファベット文字の系列とみなし、カタカナ読みをカタカナ文字の系列とみなせば、アルファベットの系列をカタカナの系列に変換する encoder-decoder の問題とみなせる。

そして、学習データさえあれば、deep learning で学習して、英単語をカタカナに翻訳することができる。
※すでに誰かがやっているはずだと思うが。。。

学習データの作成

『詳解ディープラーニング第2版』をで紹介されている英文の学習データを COTOHA API で解析する。
そして、英単語がアルファベット読みになっていないものを抽出して、英語⇒カタカナの学習データとする。

実際の学習データの作成手順は以下のとおりだ。

[1] アルファベットからカタカナ読みに変換する変換表を作成する。
具体的には、"a" => "エー"、"b" => "ビー"、 ...、"z" => "ゼット" という変換表を作成する。

[2] 英単語を [1] の変換表を使って、アルファベット読みを生成する。
例えば、"pen" から "ピーイーエヌ" を生成する。

[3] COTOHA API の解析結果の kana とアルファベット読みを比較して、アルファベット読みと一致していないものを出力する。
例えば、"pen" の kana は "ペン" となるため、学習データとするが、"ok" の kana は "オーケー" というアルファベット読みと一致するため、学習データとはしない。

学習してみる

『詳解ディープラーニング第2版』を参考にして、入力：英単語 ⇒ 出力：カタカナ読みをニューラルネットワーク（Bidirectional LSTM）で学習してみた。

学習データに含まれる英単語については、うまく学習できているようだ。

入力: city
出力: シティ

入力: answer
出力: アンサー

入力: question
出力: クエスチョン

入力: beautiful
出力: ビューティフル

入力: station
出力: ステーション

学習していない英単語で試してみる

学習していない英単語で、ニューラルネットワークの学習成果を見てみた。

入力: natural
出力: ナチュラル
自然な感じだ。

入力: language
出力: ラングエッジ
忠実なカタカナ読みだと、こんな感じになるのだろう。

入力: scientist
出力: サイエンティスト
意外にも、うまくいっている。

入力: sunday
出力: サンディ
いい感じだ。

さらに試してみる

前回の投稿で、"COTOHA" を COTOHA API で解析した結果では、"COTOHA" は辞書に登録されていないためか、読みは "シーオーティーオーエッチエー" だった。

今回、COTOHA API の解析結果を学習することで、"COTOHA" を正しく読めるようになったのだろうか？

まずは、こちらから。
入力: qiita
出力: クイット
"quit" は学習データにはないのだが。。。

さぁ、どうだろう。
入力: cotoha
出力: コール
あぁ、だめだ。。。

おわりに

最新技術の deep learning を使って、COTOHA API の解析結果を学習して、英単語をカタカナ読みに翻訳してみた。

ある程度うまくいったものの、"COTOHA" を正しく翻訳することはできなかった。

"COTOHA" に追いつくのは、まだまだ先のようだ。