はじめに

自然言語処理の基礎的な知識を勉強したのでまとめます。

自然言語処理とは

自然言語処理(NLP: natural language processing)とは、自然言語（人間が日常的に使う言語）をコンピュータで扱う技術のことです。プログラミング言語とは違い、厳密な決まりがない自然言語をコンピュータで扱うところに難しさがあります。

自然言語処理における基礎的な技術について簡単にまとめます。

文章を形態素と呼ばれる単位に分割し、形態素の品詞や辞書の見出し語を判別する技術です。よく似た言葉にトークンと呼ばれるものがありますが、ほぼ同じと考えても良さそうです。

文章を文節または単語で分割し、修飾、被修飾の関係を明らかにする技術です。構文解析と呼ばれることもあるようです。

文章から実体(entity)を取り出す技術です。実体とは実世界に存在し、識別可能な物体や事象です。