LoginSignup
0

More than 3 years have passed since last update.

[WIP]自然言語処理における前処理のメモ

Last updated at Posted at 2020-01-27

この記事は自然言語における前処理を読んだ際の備忘・メモ書きです。

数値の置き換え

99や1.235などを0にするように、数値も正規化するんですね。確かに自然言語処理で分析したいこととは関係ないことが多そう。

ストップワードの除去

これに限った話ではないですが、コードサンプルがあっていいですね。
あと、ストップワードの選び方も意味ベースや頻度ベースと復習にちょうどいい。

前処理ありとなしの比較

実行時間差が大きい。精度よりも重要じゃなかろうか。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0