はじめに
自然言語処理の基礎的な知識を勉強したのでまとめます。
自然言語処理とは
自然言語処理(NLP: natural language processing)とは、自然言語（人間が日常的に使う言語）をコンピュータで扱う技術のことです。プログラミング言語とは違い、厳密な決まりがない自然言語をコンピュータで扱うところに難しさがあります。
基礎的な技術
自然言語処理における基礎的な技術について簡単にまとめます。
形態素解析
文章を形態素と呼ばれる単位に分割し、形態素の品詞や辞書の見出し語を判別する技術です。よく似た言葉にトークンと呼ばれるものがありますが、ほぼ同じと考えても良さそうです。
係り受け解析
文章を文節または単語で分割し、修飾、被修飾の関係を明らかにする技術です。構文解析と呼ばれることもあるようです。
固有値表現
文章から実体(entity)を取り出す技術です。実体とは実世界に存在し、識別可能な物体や事象です。
参考にした文献
- BERT/GPT-3/DALL-E 自然言語処理・画像処理・音声処理 人工知能プログラミング実践入門
- 自然言語処理への第一歩
- わわわIT用語辞書