0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Accuracy(精度)を求める(SPSS Modeler データ加工逆引き8-1)

0
Last updated at Posted at 2022-09-04

Accuracy(精度)を求める(混同行列)

スクリーンショット 2022-08-12 11.52.05.png

1.想定される利用目的

・予測モデルの性能評価
・実装後のモデルメンテナンスのための性能指標の算出

2.サンプルストリームのダウンロード

3.サンプルストリームの説明

スクリーンショット 2022-08-13 9.09.37.png

a.入力するデータは以下の通りです。故障有無とその予測の2列のデータです。
スクリーンショット 2022-08-12 11.57.38.png

b.[精度分析]ノードを編集します。[一致行列]にチェックします。
スクリーンショット 2022-08-12 11.56.09.png

[実行]します。故障と予測して実際に故障していたのが8レコード(TP)、故障しないと予測して実際に故障していなかったのが6レコード(TN)。その正解の合計が全体20レコードに占める割合が精度=0.7です。
スクリーンショット 2022-08-12 11.56.44.png

実装後のモデル監視のために精度をテーブル表示させる。

c.[フィールド作成]ノードを編集します。[派生]モードを[フラグ型]にしてフラグが真になる条件を予測と実績が合致するように記述します。
スクリーンショット 2022-08-13 10.04.53.png

d.[棒グラフ]ノードを実行します。[派生]モードを[フラグ型]にしてフラグが真になる条件を以下のように記述します。
スクリーンショット 2022-08-13 10.04.53.png

[プレビュー]します。予測と実績が合致するとAccuracyにフラグが立ちます。
スクリーンショット 2022-08-13 10.05.40.png

e.[レコード集計]ノードを編集します。
スクリーンショット 2022-08-13 10.08.30.png

[プレビュー]します。Accuracy(精度)が表示されました。
スクリーンショット 2022-08-13 10.09.01.png

注意事項

精度は最初に確認するべき重要なモデル性能指標ですが、以下のように故障をひとつも当てられなくても、故障しないと予測したレコードの多くが当たっていると(TN)見かけ上の精度が高まるので注意します。そのためにもPrecision(適合率)とRecall(再現率)など目的に応じた性能指標を併せて確認する必要があります。

スクリーンショット 2022-08-13 10.02.07.png

4.参考情報

モデルの性能指標について解説した記事

SPSS Modeler ノードリファレンス目次

SPSS Modeler 逆引きストリーム集(データ加工)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?