自然言語処理(NLP)/チャットボットとは

自然言語処理(NLP)とは

自然言語処理(Natural Language Processing)。
人間が使用している自然言語(言葉)をコンピュータで処理・分析する技術こと。

実用例
・Siri
・Alexa
・検索エンジン
・チャットボット
・機械翻訳
・予測変換
・音声対話
・スパムフィルタ

自然言語処理の技術

・形態素解析
 文書を単語に分割

・word2vec
 単語をベクトル化

・リカレントニューラルネットワーク
 時系列を扱うニューラルネットワーク

・seq2seq
 RNNをベースに文書を生成するモデル

チャットボットとは

自動で会話するプログラム。
1960年ジョセフ・ワイゼンバウムが作成したELIZAが起源。

自動会話のアプローチ
・ルール型
 人工無能。プログラム通りに返答を作成。
・機械学習方
 人工知能が会話のパターンを学習。
 ルール型よりも自然。

チャットボットの用途
・カスタマーサポート
・音声アシスタント
・コミュニケーション
・検索サポート

開発の流れ

・大量の対話文コーパスを用意
・ニューラルネットワークを構築
・ニューラルネットワークに対話文コーパスを学習させる
・学習済ニューラルネットワークを使用し、チャットボットのシステム構築