この記事は自然言語における前処理を読んだ際の備忘・メモ書きです。
数値の置き換え
99や1.235などを0にするように、数値も正規化するんですね。確かに自然言語処理で分析したいこととは関係ないことが多そう。
ストップワードの除去
これに限った話ではないですが、コードサンプルがあっていいですね。
あと、ストップワードの選び方も意味ベースや頻度ベースと復習にちょうどいい。
前処理ありとなしの比較
実行時間差が大きい。精度よりも重要じゃなかろうか。
More than 3 years have passed since last update.
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme