Accuracy(精度)を求める（混同行列）

1.想定される利用目的

・予測モデルの性能評価
・実装後のモデルメンテナンスのための性能指標の算出

2.サンプルストリームのダウンロード

3.サンプルストリームの説明

a.入力するデータは以下の通りです。故障有無とその予測の2列のデータです。

b.[精度分析]ノードを編集します。[一致行列]にチェックします。

[実行]します。故障と予測して実際に故障していたのが8レコード（TP）、故障しないと予測して実際に故障していなかったのが6レコード（TN）。その正解の合計が全体20レコードに占める割合が精度=0.7です。

実装後のモデル監視のために精度をテーブル表示させる。

c.[フィールド作成]ノードを編集します。[派生]モードを[フラグ型]にしてフラグが真になる条件を予測と実績が合致するように記述します。

d.[棒グラフ]ノードを実行します。[派生]モードを[フラグ型]にしてフラグが真になる条件を以下のように記述します。

[プレビュー]します。予測と実績が合致するとAccuracyにフラグが立ちます。

e.[レコード集計]ノードを編集します。

[プレビュー]します。Accuracy（精度）が表示されました。

注意事項

精度は最初に確認するべき重要なモデル性能指標ですが、以下のように故障をひとつも当てられなくても、故障しないと予測したレコードの多くが当たっていると（TN）見かけ上の精度が高まるので注意します。そのためにもPrecision（適合率）とRecall（再現率）など目的に応じた性能指標を併せて確認する必要があります。

4.参考情報

モデルの性能指標について解説した記事

SPSS Modeler ノードリファレンス目次

SPSS Modeler 逆引きストリーム集（データ加工）