概要、背景
- 「形態素解析」と「係り受け解析」について調べてまとめる
- 「データサイエンティストスキルチェックリスト」の「データサイエンス力」項目で「形態素解析や係り受け解析の概念を説明できる」とあるため、勉強を兼ねて
- スタート時点：「自然言語処理？かなんか聞いたことはある気がするけど、何するんだっけ？」
「形態素解析」「係り受け解析」とは
- 形態素解析
- 文を形態素（言語で意味を持つ最小単位）に分割し、品詞等を判別する作業
- 係り受け解析
- 各単語間の「主語・述語」「修飾語・被修飾語」などの関係を調べること
- 調べた内容は↓
調べたもの
形態素解析
形態素解析（Wikipedia）より
形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。
- 文を形態素（言語で意味を持つ最小単位）に分割し、品詞等を判別する作業。
- 分割には対象言語の文法や、辞書と呼ばれる単語の品詞等の情報を使う。
- 自然言語処理の分野における主要なテーマのひとつ。「機械翻訳」や「かな漢字変換」などに使われる。
形態素解析に代表される自然言語処理の仕組みやツールまとめ
形態素解析の基本4点
- 「形態素」とは文章を分解した中にある最小単位
- 文章を形態素に分類するための処理を「形態素解析」と呼ぶ
- 形態素解析は「形態素解析ツール」で実行する
- 形態素解析ツールに登録されている「辞書」の情報と照らし合わせて形態素を割り出す
- 文章を形態素に分類するための処理
- 「形態素」=文章を分解した中にある最小単位
- 活用事例
- 検索エンジン
- 仮名漢字変換
- ロボットの音声認識
- スマートフォンの音声アシスタント
- スマートスピーカー
- 翻訳システム
- SNSのトレンド分析
係り受け解析
統計的係り受け解析入門
- 係り受け解析：各単語（or文節）の係り先を決定する
- 応用例：情報抽出
自然言語処理のステップ③：「構文解析」とは？
「係り受け」（かかりうけ）とは、文を文節に分けてそれぞれの文節の関係を調べることです．