自然言語処理
人が話したり、聞いたり、読み書きする言語を処理する技術のこと
一般的に自然言語処理では、日本語は英語のように単語ごとに分割されていないため、解析が難しい。そのため、分析を行うために事前準備である前処理として、文章を単語ごとに分割する形態素分析を行ってから、分析を行うことが一般的だ。
対話システム
自然言語処理をベースとして用いて実現される、人と会話するためのシステムである。
処理の流れは以下である。
1.会話内容の判定、推定
2.回答の内容を選択
3.回答メッセージ返信
対話システムを構築するには、システムの活用目的を明確にする必要がある。
汎用AIはまだ出来ていないからだ。
ソフトウェア
Pythonを用いて、MeCabを使うことで形態素分析を行い、自然言語処理を実現することが一般的だ。
また、faceebookが開発したfastTextというOSSが有用であるようだ。