More than 3 years have passed since last update.

Reformerによる文章生成を日本語で行う

Last updated at 2020-03-15Posted at 2020-03-15

概要

2020年1月16日にGoogleによって公開されたReformerのcolab環境を使用して、手動入力した日本語の続きを自動的に生成してみます。

背景

2020年3月現在、言語翻訳やチャットボット、自動作曲などのサービスが当たり前のように社会に組み込まれています。これらの実現のために使用されているディープラーニング技術は、2016年頃まではRNNやLSTMが主流でしたが、2017年の7月に発表されたTransfomerで高い精度を得られることが分かると、研究分野を中心に次第にTransfomerに切り替わっていきました。

そして、2020年1月16日にGoogleから「[Reformer: The Efficient Transformer] (https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html)」というタイトルの記事が発表されました。Reformerは、タイトル通り「効率的なTransfomer」ということで、処理速度と使用リソース面でTransfomerから改善が行われています。

ディープラーニングの世界では、大量のデータを使って高い精度を追い求めると、どうしてもメモリ等のリソースが不足しがちです。ところが、今回の改善では仮にキーワードが100万個あったとしても16GBのメモリサイズで処理が可能になったそうです。

改善内容の詳細は、公式記事を見ていただければと思いますが、個人的には以下2つの工夫点によって処理が効率化されたと理解しています。

Reformer効率化の要点

LSH(locality-sensitive-hashing)による処理速度向上
これまでのTransformerでは、長いシーケンスのデータを取り込むとAttention処理で計算量が増えてしまいました。
Reformerでは、ハッシュ関数を使用して各キーワードをチャンクと呼ばれるグループに振り分けて、分散表現の近い単語同士を同じチャンク（あるいは隣のチャンク）に集めることで計算量を減らしています。また、チャンク毎の並列処理によっても処理速度を向上させています。
reversible residual layersによる使用メモリ量削減
Transformerでは、大規模なデータを取り込んで数千もの層で処理を行うと、テラバイト級のメモリが必要になることもあります。Reformerでは、reversible layersを使用して、ディープラーニングの各層の情報をメモリに保存せずに逆伝播時に再計算することによって、使用するメモリサイズを少なくしています。

前提

難しいことはさておき、今回、試したことを整理します。
####試したこと
Googleが公開した英語の自動生成のサンプルコードを使って、日本語も同じように自動生成できるかを試しました。日本語の質を追求している訳ではなく、それらしい文章を生成するところまでです。
精度、処理時間、使用メモリ量などに関して、Transformerとの比較は行っていません。

####実行環境
実行環境は、オリジナルと同じGoogle colab環境です。ipynb形式をchrome上で実行しています。
オリジナルのサンプルコードは、TPUを使用するように定義されており、colab環境での実行に最適化されているようです。
（補足ですが、ローカルのCPU環境でも学習までは処理が進んだことは確認しました。）

なお、今回の試行では、日本語を生成するためにデータを変えながら何度も試行を重ねています。
その過程をご覧になりたいかたは、「こちら」を参照してください。