@tkngueと共著

TL;DR

NMTを試してみました.
翻訳結果を見ると、うまくいっている翻訳は驚きの結果でした.
ただ,内容語をとんでもない間違いかたをしているものもあったりして面白かったです.

概要

__"でぃ〜ぷらーにんぐ"__の波が機械翻訳にも来ていて
大きなパラダイムシフトになりつつあります.
その圧倒的な表現能力の高さ　や　高価なGPGPUが大量にないと話にならないお金持ちゲーであることや
膨大なハイパパラメータ（学習の際の設定の組み合わせ）が
存在することから
「さわるの嫌だなー」と思いつつも、さわらざるを得ない状況になったので触ってみました.
実際にさわってみて, やっぱり凄かったので投稿する次第です.

本稿では, 再配布可能な対訳コーパスKFTTを対象に日英翻訳をニューラルネット翻訳(NMT)で試してみます.
加えて, これまでのフレーズベースの統計的機械翻訳の典型的なツールでした
mosesと比較することを試みます.

本稿では以下の点について述べます

NMTに関する関連情報
NMTツール(seq2seq-attn)のインストール・実行手順
NTMの翻訳結果加え NMTとPBMTの出力結果の比較

ただし、以下の点については触れません.

NMTがどのように動いているかの動作原理

本稿が, 自然言語処理の大きな分野の一つである機械翻訳に興味がある方々の助けになれば幸いです.

NMTの有用そうな情報まとめ

ひとまず, NMTの手がかりとして有用そうなリンクを挙げておきます

実装は様々な形で公開されているのですが,
今回はハーバード大学のNLPグループが公開しているseq2seq-attnを利用します.

関連記事として
「lamtramツールキットを使って、ニューラル機械翻訳を試す」
もあるので、そちらもどうぞ

NMTを利用するための環境の構築

CUDAの導入は済んでいるとします.
インストール作業は大まかに、以下の4つです.

Torchの依存パッケージのインストール
Torchのインストール
seq2seq-attnの依存パッケージのインストール
seq2seq-attnのクローンのインストール

Torchおよび依存ツールのインストール

依存パッケージのインストール

sudo権限がある場合

下記の通り（公式ページより）で良い.

git clone https://github.com/torch/distro.git ~/torch --recursive
cd ~/torch; bash install-deps;
./install.sh

sudo権限がない場合

管理者にいくつかパッケージをインストールしてもらう必用があります.
install-depsファイルに必用なパッケージが記述されています.

CentOS7の例

yumで導入するソフト

sudo yum install -y epel-release # a lot of things live in EPEL
sudo yum install -y make cmake curl readline-devel ncurses-devel \
                    gcc-c++ gcc-gfortran git gnuplot unzip \
                    libjpeg-turbo-devel libpng-devel \
                    ImageMagick GraphicsMagick-devel fftw-devel \
                    sox-devel sox zeromq3-devel \
                    qt-devel qtwebkit-devel sox-plugins-freeworld
sudo yum install -y python-ipython

ソースからコンパイル

git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make install ```

## Torch本体のインストール

__Torchのインストールには管理者権限が不要です.__

```sh
git clone https://github.com/torch/distro.git ~/torch --recursive
cd ~/torch
./install.sh

これで、~/torch/install以下にTorchがインストールされます.
あとアクティベーションスクリプトの読み込み. /lab/takahashi/tools/torch/install/bin/torch-activateのような1行が実行中のシェル設定ファイル(.zshrcなど)の末尾に追加されます.
そのため、インストールに続いてTorchを実行する場合はsource ~/.zshrcなどを実行しておかなければなりません.

seq2seq-attnのインストール

基本的なインストール作業は
torch-activateを実行した後で, 以下の作業を行います.
公式サイトの手順通り

# seq2seq-attnのクローン
git clone https://github.com/harvardnlp/seq2seq-attn.git
# seq2seq-attnの依存パッケージの導入
luarocks install hdf5
luarocks install nn
luarocks install nngraph
luarocks install luautf8
# GPUを使うなら
luarocks install cutorch
luarocks install cunn

日英対訳データに対して翻訳器を動かしてみる

ここからはseq2seq-attnのREADMEに従います.

コーパスにはKFTTを用いて、日英翻訳を行います.
.データのみをダウンロードしておく.

データの整形

pythonスクリプトでデータをhdf5形式に変換します.
この際, 下記の前処理が行われます.

語彙サイズの削減
語数の多い対訳文の削除
語彙のID化 (辞書を生成する)
ミニバッチ化
対訳データの並びのシャッフル

詳しい詳細は、seq2-seq-attnのREADMEを読んで下さい.

python preprocess.py \
    --srcfile kftt/data/tok/kyoto-train.cln.ja \
    --targetfile kftt/data/tok/kyoto-train.cln.en \
    --srcvalfile kftt/data/tok/kyoto-dev.ja \
    --targetvalfile kftt/data/tok/kyoto-dev.en \
    --outputfile kftt/data/kyoto \
    --batchsize 64 \
    --shuffle 1

学習

th train.lua \
    -data_file kftt/data/kyoto-train.hdf5 \
    -val_data_file kftt/data/kyoto-val.hdf5 \
    -savefile kftt/data/kyoto-model \
    -gpuid 1

デフォルトでは1層のLSTMのユニット数100のseq2seqモデル.
-attnオプションをつけることで注視機構がつきます.

学習時間はGTX GeForce TitanXで半日ほど. (速度的には 20k tokens/s)
学習の時間はかなりかかります.
メモリの使用量は大体1GB程度です. 色々な実装と比べて かなり少ない

翻訳の生成

th evaluate.lua\
	-model kftt/data/kyoto-model_final.t7 \
	-src_file kftt/data/tok/kyoto-test.ja \
	-src_dict kftt/data/kyoto.src.dict \
	-targ_dict kftt/data/kyoto.targ.dict \
	-output_file kftt/data/tok/pred.txt \
	-gpuid 1

翻訳の評価

mtevalやmulteval,Moses付属のスクリプトなどで、BLEUなどの自動評価を行うことが出来ます.

別の形態素解析辞書やコーパスの前処理を行ったものの結果は、日英でBLEU:21.8, RIBES:68.7でした.
フレーズベースSMTよりも2ポイントほど上がりました.

評価結果は以下の通りです.

|systems | BLEU | RIBES|
|--------+-------+------|
|PBMT(moses) | 19.3 | 66.4 |
|NMT(seq2seq-attn) | 21.8 | 68.7 |

ハイパパラメータの調整を一切していないが
BLEUが2.5ポイント向上します. すごい...

翻訳例

翻訳結果を実際に見比べてみましょう.
上から順に、

日本語
参照訳
PBMT(moses)の出力
NMTの出力
です.

TRG: InfoboxBuddhist
REF: InfoboxBuddhist
PBMT: infobox buddhist
NMT: <unk>

TRG: 道元は、鎌倉時代初期の禅僧。
REF: dogen , the priests of the early kamakura period .
PBMT: dogen was a zen monk in the early kamakura period .
NMT: dogen was a zen priest in the early kamakura period .

TRG: 曹洞宗の開祖。
REF: the founder of the soto sect .
PBMT: the founder of soto zen
NMT: he was the founder of the soto sect .

TRG: 晩年に希玄という異称も用いた。
REF: it was also used as another name for 希玄 in his later years .
PBMT: later in his life he also went by the name kigen .
NMT: it was also called <unk> in his later years .

TRG: 同宗旨では高祖と尊称される。
REF: is referred to as koso in the religious doctrines of the same year .
PBMT: within the sect he is referred to by the honorary title koso .
NMT: in the same religious doctrine , he was honorifically called koso .

TRG: 一般には道元禅師と呼ばれる。
REF: it is generally called dogen zenji .
PBMT: he is generally called dogen zenji .
NMT: he is generally called dogen zenji .

TRG: 日本に歯磨き洗面、食事の際の作法や掃除の習慣を広めたといわれる。
REF: in japan , it is said that the custom to clean wash 歯磨き when eating manners and spread .
PBMT: he is reputed to have been the one that spread the practices of tooth brushing , face washing , table manners and cleaning in japan .
NMT: it is said that he spread the manners and customs of meals in japan and the custom of cleaning .

TRG: 最初にモウソウチク ( 孟宗竹 ) を持ち帰ったとする説もある。
REF: there is also a theory that the first moso-chiku ( phyllostachys edulis species in the back ) .
PBMT: another story has it that he was the first one to bring moso-chiku ( moso bamboo ) to japan .
NMT: there is a theory that he was first brought back to japan .

TRG: 道元の出生には不明の点が多いが、内大臣土御門通親（源通親あるいは久我通親）の嫡流に生まれたとする点では諸説が一致している。
REF: there are various theories as to the birth of michichika koga of naidaijin ( minister ) minamoto no michichika ( michichika tsuchimikado , but it is often was born in the direct line of the intersection with dogen , or ) ) .
PBMT: though some points are unclear about dogen 's birth , all accounts agree that he was born in the line of udaijin ( minister of the right ) michichika tsuchimikado ( minamoto no michichika or michichika koga ) .
NMT: there are many theories about the birth of dogen , but there are various theories regarding the fact that he was born as the direct descendant of the minister of the center michichika tsuchimikado ( minamoto no michichika or michichika koga ) .

TRG: 定説では京都木幡の松殿山荘で通親と太政大臣松殿基房（藤原基房）の娘藤原伊子の子として生まれたとされているが、近年の研究では定説では養父とされている堀川通具の実子とする説が有力になりつつある。
REF: he was born as the child of fujiwara no ishi , a daughter of fujiwara no motofusa matsudono and his foster father was an established theory is becoming influential in the study of the biological son of motofusa matsudono ( grand minister ) , but in recent years , michitomo horikawa , kyoto of kohata villa with michichika .
PBMT: although it is generally accepted that he was born in shoden sanso in kohata , kyoto , to michichika and fujiwara no ishi , the daughter of daijo-daijin ( grand minister of state ) motofusa matsudono ( fujiwara no motofusa ) , recent research suggests that he may have been the son of michitomo horikawa , who was presumed to be his adoptive father .
NMT: it is said that he was born as a son of the grand minister of state motofusa matsudono ( fujiwara no motofusa ) , who was the daughter of the grand minister of state , motofusa matsudono ( fujiwara no motofusa ) , and the daughter of the grand minister of state motofusa matsudono ( fujiwara no motofusa ) in the <unk> villa in kohata , kyoto .

TRG: また、通親の子、源通宗または久我通光を父親とする説もある。
REF: in addition , there is a theory that the father and the son of michichika , minamoto no michimune or michiteru koga .
PBMT: another account says his father was the son of michichika , minamoto no michimune or michiteru koga .
NMT: there is also a theory that michichika 's son , minamoto no michimune or michiteru koga is his father .

TRG: 伝記である『建撕記』によれば、 3 歳で父（通親）を、 8 歳で母を失って、異母兄である堀川通具の養子になった。
REF: according to the " kojiki , " 建撕 lost his mother at the age of eight , his older paternal half-brother , michitomo horikawa , became an adopted son of his father at the age of three ( michichika ) , is his biography .
PBMT: according to the biography " kenzeiki " , he lost his father ( michichika ) at 3 years of age , his mother at 8 , and was adopted by his half brother michitomo horikawa .
NMT: according to " <unk> , " a biography , his father ( michichika ) was born when he was three years old , and his mother was the adopted child of michitomo horikawa , who was a paternal half-brother .

TRG: また、一説によれば両親の死後に母方の叔父である松殿師家（元摂政内大臣）から松殿家の養嗣子にしたいという話があったが、世の無常を感じていた道元が断ったとも言われている。
REF: in addition , it is also said that it was the adopted heir of the matsudono family declined after the death of his parents , who felt the absence of absolutes regent moroie matsudono ( according to one theory , the story as maternal uncle to dogen ) from naidaijin ( minister ) .
PBMT: yet another account tells that his maternal uncle moroie matsudono ( former regent and interior minister ) wanted to adopt him as an heir after his parents died , but dogen , feeling the uncertainty of the world , declined .
NMT: according to one theory , he wanted to become an adopted heir of matsudono family ( former regent ) from his maternal uncle , moroie matsudono ( former regent , minister of the palace ) after the death of his parents , but it is said that dogen , who felt sorry for the impermanence of the world , refused .

TRG: その他、御手伝と称する課役や江戸時代末期には海岸防備を命ぜられることもあり、大名は常に経済的にも苦しかった。
REF: other than that , he was assigned to defend the coast , and in the end of the edo period , the daimyo in economic spread as the assistant of assignments .
PBMT: other than that , there was a system of assignments called otetsudai , and at the end of the edo period some were ordered to defend the coast , so the daimyo were always in a difficult position financially .
NMT: in addition , the daimyo was always in financial difficulty in the end of edo period , and in the end of edo period , daimyo always had financial difficulty .

短い文に関しては、手続き間違いを疑うほどにどうまくいっていますね...
PBMTの結果に比べて, NMTの結果はちゃんと読めるのが凄いです.
今回はCopyModelを利用していないので, 未知語<unk>はそのままですが.
置き換えるだけで性能がまだ上がりそう...

ただ漫然と翻訳結果を眺めていると
NMTはそれっぽく出力されていますが

he/she/it,　他に時制などの間違い
入力文に関して, それっぽいことを言っているが 全く関係ないこと を述べていたり
長い文に関して 同じような英文を出力 して, 語数を稼いでいる

ようなことが見受けられます.
それでも凄い結果だ...

詳しい分析については
Neural versus Phrase-Based Machine Translation Quality: a Case Study
が非常に参考になります.