Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

論文読み: Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generation

More than 3 years have passed since last update.

Multiresolution Recurrent Neural Networks: An Application to Dialogue Response Generationの内容のサマリ。

どんなもの?

RNNはLSTMとかの構造をいじるのが主流になっているけれど、入力を工夫した方がいいんじゃない?ということで、入力列を通常の文字列とそこから「粗い(Coarse)」情報を抽出したものとを並列で入力するモデルを提案している(=multi resolution)。

先行研究と比べてどこがすごい?

通常のRNNは当然扱える系列は1つだけれども、本研究はこれを複数・パラレルにするという所に意義がある。

技術や手法のキモはどこ?

encoder-context-decoderというモデルを、通常文用と粗いもの用と2つ用意し、それを組み合わせている。

image

「粗い」情報を作る方法として、名詞のみ抽出やActivity-Entity(dialog actと質問カテゴリのようなもの)を使用する方法が提案されている。Ubuntuテクニカルサポートの対話データとTwitterの対話(タスク指向&非タスク指向)双方で実験しており、それぞれにあったCoarseを使っている。

image

どうやって有効だと検証した?

ベースラインのモデルとして以下を用意して、precision、recall、f1、そして主観評価を比較。

  • Seq2Seq+LSTM(RNNLM(RNN Language Model) + LSTM)
  • HRED+LSTM (HRED = Hierarchical Encoder Decoder)

結果としてUbuntuのテクニカルサポートというタスク指向型対話、Twitterの非タスク指向型双方で既存のモデルを上回るという最強感のあるものとなっている。

image

image

議論はある?

入力文字列に対する適切な抽象化を行うこと(fine-grained abstraction)は、対話中のコンテキストなどのより高次な抽象的な情報を抽出するのに有用な可能性が示された。このモデルは詩や論証といったものや、他の分野では音楽などといったものの生成にも使えると考えている

次に読むべき論文は?

この論文中に実装の方法などがかなりきめ細やかに書かれているので、まずはこれらを読み込むとよいと思う。

icoxfog417
All my statements are from fun fancies, not a boring story that represents a company that I belonging to.
https://github.com/icoxfog417
tis
創業40年超のSIerです。
https://www.tis.co.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away