1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

F1スコアを求める(SPSS Modeler データ加工逆引き8-3)

Last updated at Posted at 2022-09-06

F1スコアを求める(混同行列)

スクリーンショット 2022-08-13 18.35.07.png

*この記事は逆引き8-1と8-2を加筆しています。併せて参照ください。

1.想定される利用目的

・予測モデルの性能評価
・実装後のモデルメンテナンスのための性能指標の算出

2.サンプルストリームのダウンロード

3.サンプルストリームの説明

スクリーンショット 2022-08-13 18.36.03.png

a.入力するデータは以下の通りです。故障有無とその予測の2列のデータです。
スクリーンショット 2022-08-12 11.57.38.png

b.[フィールド作成]ノードを編集します。[派生]モードを[名義型]にして1でも0でもないとデフォルト値がNullになるように定義します。*このNullが後続の集計で適切に処理されます。
スクリーンショット 2022-08-13 11.25.30.png

c.[フィールド作成]ノードを編集します。[派生]モードを[名義型]にして1でも0でもないとNullになるように定義します。
スクリーンショット 2022-08-13 11.27.00.png

[プレビュー]します。適合率にはTNとFNが、再現率にはTNとFPが考慮されず、後続の平均の計算で割り算の分母が適切になるようにNullを意図的に利用しています。
スクリーンショット 2022-08-13 17.53.08.png

d.[レコード集計]ノードを編集します。
スクリーンショット 2022-08-13 11.28.08.png

[プレビュー]します。適合率と再現率が求められました。
スクリーンショット 2022-08-13 11.28.42.png

*Accuracy(精度)の求め方は逆引き8-1を参照してください。

e.[フィールド作成]ノードを編集します。
スクリーンショット 2022-08-14 8.02.24.png

[プレビュー]します。F1スコアが求められました。
スクリーンショット 2022-08-14 8.03.19.png

組み込み集計関数を利用してF1スコアをテーブル表示させる。

f.[フィールド作成]ノードを編集します。
スクリーンショット 2022-08-13 17.59.06.png

[プレビュー]します。
スクリーンショット 2022-08-13 17.59.40.png

g.[再構成]ノードを編集します。後続で利用する組み込み集計関数COUNTで欠損ではない値をカウントさせるため[値フィールド]はNullがないものでしたらOKです。
スクリーンショット 2022-08-13 18.00.18.png

[プレビュー]します。
スクリーンショット 2022-08-13 18.01.28.png

h.[レコード集計]ノードを編集します。
スクリーンショット 2022-08-14 8.04.12.png

式ビルダーの組み込み集計関数を利用すると便利です。
スクリーンショット 2022-08-14 8.06.37.png

注意事項

適合率と再現率のふたつを調和平均しており、最大が1で最小が0のスコアです。

4.参考情報

モデルの性能指標について解説した記事

SPSS Modeler ノードリファレンス目次

SPSS Modeler 逆引きストリーム集(データ加工)

1
0
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?