基準となる平均と標準偏差を元に複数列のZスコアを計算する

zスコアの計算例は過去の記事にもありますが、
zスコアを計算する際に基準となる平均と標準偏差を、異常値による影響を避けるために、例えば前日の値に固定したいようなことがあります。

1.想定される利用目的

異なる尺度をもつフィールド（列）間の比較
特徴量への変換（予測アルゴリズムに応じて）
異常値の監視

2.サンプルストリームとデータのダウンロード

ストリーム

データ

3.サンプルストリームの説明

a.入力するデータは以下の通りです。
タイムスタンプと温度1と温度2の列があります。
2023-04-01の平均値と標準偏差を基に温度1と温度2のzスコアを計算したいと思います。

2023-04-01の平均値と標準偏差をグローバル値として計算します

b.[条件抽出]ノードを編集します。

以下の式で「2023-04-01」のデータに絞り込みます。

datetime_date(TS)= "2023-04-01"

c.[グローバルの設定]ノードで温度1と温度2を選択し、「平均」と「標準偏差」を選びます。
値を上書きしないように念のために「実行前にすべてのグローバル値を消去」のチェックは外しておき、実行します。

ストリームのプロパティの「グローバル」タブを見ると平均値と標準偏差が計算されています。

Zスコアに変換する

d.[フィールド作成]ノードを編集します。
「モード」を「複数」にします。
「フィールドリスト」に温度1と温度2を選択します。
「フィールド名拡張子」には「_zscore」を入れました。
そしてCLEM式に以下を入れます。@FIELDでグローバル値を参照しているので、複数列の計算が一度に行えます。

(@FIELD-@GLOBAL_MEAN(@FIELD))/@GLOBAL_SDEV(@FIELD)

e.[テーブル]ノードで結果を見ます。
2023-04-01の平均値と標準偏差を基に温度1と温度2のzスコアが計算できています。

4.参考情報

値をZスコアに標準化する(SPSS Modeler データ加工逆引き3-11) #SPSS_Modeler - Qiita

SPSS ModelerでZスコアを扱った記事

SPSS Modeler ノードリファレンス目次

SPSS Modeler 逆引きストリーム集（データ加工）