LoginSignup
7

SPSS Modeler 逆引きストリーム集

Last updated at Posted at 2022-07-01

SPSSイベント

3月7日 顧客LTV向上のためのデータ活用セミナー

SPSS Modelerの歩き方2024

SPSS Modeler 逆引きストリーム集

SPSS Modelerのデータ加工手順を大項目から逆引きで探して頂けます。手順を解説する各記事からサンプルストリームがダウンロードが可能です。データを内部生成しますのでストリームのみで完結します。2022年7月から毎週記事を追加する予定です。

2024/2/21 最終更新
DL可能ストリーム数 195

目次から大項目へリンク(右のサイドバーから個々の記事を閲覧できます)

項番 大項目へのリンク 処理の例 記事数
1 日付の処理 日付列から年月の列を作成する/曜日を識別する 18
2 文字列の加工 文字列から記号を除去する/N文字目を抽出する 20
3 統計量を作成 平均との差(偏差)や累積比率を作成する 26
4 時系列の処理 1行上の値との差を求める/N期移動平均を作成する 24
5 欠損値を補完 NULLや空白には平均値や代表値を代入する 14
6 テーブルの結合 テーブルを内部結合する/列方向に追加する 10
7 行と列の操作 時系列に記録された明細を顧客ごとに横持ちする 19
8 予測精度の確認 予測モデルの精度を業務の観点で評価する 15
9 加工の効率化 加工プロセスの反復やチーム共有を効率化する 22
10 グラフの表示 データの分布の確認する/グループ間の比較を行う 12
11 集計表の作成 集計表を作成する/固定帳票の自動化を行う 15

1.日付の処理

1-1 日付の列から年/月/日の列を作成する(年月日を分解する)

スクリーンショット 2022-06-22 12.01.01.png


1-2 日付の列から年月の列を作成する(年と月の文字列結合)

スクリーンショット 2022-06-22 12.01.49.png


1-3 日付の列から曜日の列を作成する

スクリーンショット 2022-06-14 12.47.20.png


1-4 2つの日付の列から差の列を作成する

スクリーンショット 2022-06-14 15.58.53.png


1-5 日付の列からN日後の列を作成する

スクリーンショット 2022-06-15 9.21.04.png


1-6 文字列/整数を日付型に変更し本日までの日数を作成する

スクリーンショット 2022-07-08 17.30.37.png


1-7 特定の日付や期間のレコードを抽出する

スクリーンショット 2022-07-15 10.12.14.png


1-8 52週の予測値を曜日重みで日毎に割り戻す

スクリーンショット 2022-07-25 8.55.56.png


1-9 タイムスタンプ列の差を計算する

68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3232333736332f63356235643131622d393061302d653836652d396631662d3239646338383635333937322e706e67.png


1-10 生年月日の列から年齢と年代の列を作成する

スクリーンショット 2022-08-08 13.19.12.png


1-11 日付の列から決算日に応じた四半期の列を作成する

スクリーンショット 2022-08-08 15.14.40.png


1-12 祝日マスタを日付で割り当て休日フラグを作成する

スクリーンショット 2022-08-08 18.06.18.png


1-13 タイムスタンプから時間帯区分の列を作成する

スクリーンショット 2023-09-06 9.12.05.png


1-14 曜日の列から土日フラグを作成する

スクリーンショット 2023-12-01 13.42.31.png


1-15 曜日の列から曜日フラグを作成する

スクリーンショット 2023-12-11 17.36.12.png


1-16 連休フラグと連休N日目を作成する

スクリーンショット 2023-12-19 17.25.28.png


1-17 365日を52週に集約する

スクリーンショット 2023-12-20 15.51.39.png


1-18 日付の列から2年後の列を作成する(date_add関数)

スクリーンショット 2024-02-07 14.32.19.png


2.文字列の加工

2-1 文字列から特定文字を除去する

スクリーンショット 2022-06-15 17.44.22.png


2-2 空白を除去して文字列を結合する

スクリーンショット 2022-06-16 13.35.15.png


2-3 文字列から先頭/末尾のN文字を抽出/削除する

スクリーンショット 2022-06-16 14.56.20.png


2-4 文字列からN文字目を抽出する

スクリーンショット 2022-06-17 10.00.59.png


2-5 記号間の文字列を抽出する

スクリーンショット 2022-06-17 16.44.31.png


2-6 コメント欄にリストのキーワードがあればフラグ化する

スクリーンショット 2022-06-24 13.44.34.png


2-7 整数型のIDの末尾が1のレコードを抽出/フラグ化する

スクリーンショット 2022-07-15 11.21.59.png


2-8 文字列「SPSS」を含むレコードを抽出/フラグ化する

2_08.png


2-9 半角カタカナを全角カタカナへ置換する

2_09.png


2-10 文字列を別の文字列に置換する

スクリーンショット 2022-08-09 10.06.33.png


2-11 括弧内の文字列を抽出/削除する

スクリーンショット 2022-08-09 10.40.10.png


2-12 カテゴリの値を別の値に割り当てる

スクリーンショット 2022-10-27 13.32.36.png


2-13 桁数を揃えて適切にソートする

スクリーンショット 2023-07-24 13.25.01.png


2-14 アンケートの複数回答可 (MA)列をフラグに分解する

スクリーンショット 2023-08-07 13.14.01.png


2-15 2つの列をアンダースコアで区切って文字列結合する

スクリーンショット 2023-11-13 13.58.15.png


2-16 文字列の8桁数字を整数型や日付型にする

スクリーンショット 2023-11-27 13.41.44.png


2-17 整数型を文字列や日付型にする

スクリーンショット 2023-11-27 13.45.44.png


2-18 テキスト文書からキーワードにフラグを立てる(Python連携)

janome.jpg


2-19 区切り文字で複合化されたリストから冒頭アイテムを抽出する

スクリーンショット 2023-12-26 11.30.54.png


2-20 T/Fのフラグ変数を1/0に置換する/反転させる

スクリーンショット 2024-01-29 14.04.15.png


3.統計量を作成

3-1 2つの列の合計と比率を作成する

スクリーンショット 2022-06-21 11.40.17.png


3-2 複数の列の合計と比率を作成する

スクリーンショット 2022-06-21 17.29.29.png


3-3 各行の平均との差を求める

スクリーンショット 2022-06-22 9.21.18.png


3-4 累積合計と累積比率を求める

スクリーンショット 2022-06-22 10.15.31.png


3-5 値が100を超えたらフラグ立てる/抽出する

スクリーンショット 2022-06-23 9.05.25.png


3-6 ±3標準偏差を外れ値と定義して削除/抽出する

スクリーンショット 2022-07-10 10.41.20.png


3-7 上位/下位1%を外れ値と定義して削除/抽出する

スクリーンショット 2022-07-10 10.39.52.png


3-8 相関係数を求める

スクリーンショット 2022-07-25 10.58.55.png


3-9 相関行列と散布図行列を作成する

スクリーンショット 2022-08-03 11.43.36.png


3-10 値を対数変換する

スクリーンショット 2022-07-25 17.20.55.png


3-11 値をZスコアに標準化する

3_10a.png


3-12 値を25%(四分位)のランク毎に集計する

スクリーンショット 2022-08-26 14.24.57.png


3-13 値を10%(デシル)のランク毎に集計する

スクリーンショット 2022-08-26 14.35.10.png


3-14 値を1%(パーセンタイル)に分けてパレート図を作る

スクリーンショット 2022-08-26 14.13.57.png


3-15 値を任意の閾値でランクに分割する

スクリーンショット 2022-10-14 9.35.57.png


3-16 IQR(四分位範囲)の1.5倍を外れ値として削除/抽出する

スクリーンショット 2022-10-14 13.54.49.png


3-17 2地点の座標(緯度・経度)から距離を求める

スクリーンショット 2022-10-14 17.01.21.png


3-18 16進数を10進数に変換する

スクリーンショット 2022-10-20 11.59.38.png


3-19 複数列の最大値/最小値を求める

スクリーンショット 2022-11-03 18.10.52.png


3-20 乱数を生成する

スクリーンショット 2022-11-07 13.16.03.png


3-21 複数列の条件で値を割り当てる

スクリーンショット 2022-11-07 13.58.09.png


3-22 座標の値から角度を求める

スクリーンショット 2023-07-19 10.03.38.png


3-23 定価マスタのない取引データから定価と値引き率を求める

スクリーンショット 2023-10-25 12.50.38.png


3-24 決定木の所属ルールと該当条件をレコードに割り当てる

スクリーンショット 2023-10-18 10.09.26.png


3-25 素数を判定する

スクリーンショット 2023-10-27 14.03.29.png


3-26 複数のフラグ変数を比較して類似スコアを算出する

スクリーンショット 2024-02-21 9.21.04.png


4.時系列の処理

4-1 全レコード/設備毎に通し番号を振る

スクリーンショット 2022-06-23 10.38.09.png


4-2 1行上/先頭行との値の差を求める

スクリーンショット 2022-06-27 17.20.08.png


4-3 移動平均を作成する

スクリーンショット 2022-06-27 17.41.41.png


4-4 過去の値を列に展開する

スクリーンショット 2022-06-28 17.50.45.png


4-5 顧客の最終利用日と経過日数を求める(リーセンシー)

スクリーンショット 2022-06-28 18.02.35.png


4-6 ID毎に値を累積してフラグをカウントアップする

スクリーンショット 2022-12-21 12.46.55.png


4-7 ID毎に前回のフラグからの経過時間を求める

スクリーンショット 2022-07-12 15.41.07.png


4-8 フラグが立つとオンになりIDが変わるとオフにする

スクリーンショット 2022-08-01 9.05.35.png


4-9 値が上昇から下降に転じたら反転フラグを作成する

スクリーンショット 2022-08-01 11.20.36.png


4-10 N期連続で値が上昇/下降したら安定フラグを作成する

スクリーンショット 2022-08-02 8.28.30.png


4-11 ID毎に同じ事象が起きてからの経過日数を求める

スクリーンショット 2022-08-02 9.35.18.png


4-12 7日前の値/移動平均との増減率を求める

スクリーンショット 2022-09-04 9.19.13.png


4-13 ID毎に初期値からの比率を求める

スクリーンショット 2022-09-04 10.36.12.png


4-14 ID毎に最大値からの比率を求める

スクリーンショット 2022-09-04 14.35.26.png


4-15 顧客の月毎と部門毎の実績を求める

スクリーンショット 2022-09-30 14.59.00.png


4-16 顧客ランクアップ予測の説明/ 目的変数を作成する

スクリーンショット 2022-10-20 14.41.15.png


4-17 未来の値を列に展開する

スクリーンショット 2022-10-28 22.02.11.png


4-18 顧客行動を日毎に要約し基礎統計をとる

スクリーンショット 2022-10-28 22.52.05.png


4-19 顧客の来店N日目を作成する

スクリーンショット 2022-11-07 15.56.58.png


4-20 移動体の遷移を時間帯とメッシュで識別する

スクリーンショット 2023-04-25 10.48.25.png


4-21 顧客クラスタを次の期間に当てはめて遷移を集計する

スクリーンショット 2023-06-27 11.16.21.png


4-22 ID毎に初回から3回目までのイベントを列に展開する

スクリーンショット 2023-08-02 8.13.50.png


4-23 顧客の四半期毎のランク遷移を列に展開する

スクリーンショット 2023-08-16 8.41.32.png


4-24 四半期の列をSQLプッシュバックが効くように作成する

スクリーンショット 2023-08-21 9.56.17.png


5.欠損値を補完

5-1 欠損値/空白に直近の値を置換する

スクリーンショット 2022-06-29 11.23.37.png


5-2 欠損値を0に/0を欠損値に置換する

スクリーンショット 2022-06-29 12.42.08.png


5-3 欠損値を平均値で置換する

スクリーンショット 2022-06-29 11.15.26.png


5-4 欠損値を最小値/最大値で全行/カテゴリ毎に置換する

スクリーンショット 2022-07-06 10.21.20.png


5-5 欠損値を最頻値で置換する

スクリーンショット 2022-07-06 14.05.54.png


5-6 欠損値を中央値で置換する

スクリーンショット 2022-07-06 16.12.09.png


5-7 空白/空文字レコードを確認して削除/抽出する

スクリーンショット 2022-07-13 11.02.57.png


5-8 欠損値レコードを確認して削除/抽出する

スクリーンショット 2022-07-13 13.11.33.png


5-9 時系列の欠損値を線形補間する

5_09.png


5-10 実績がなく欠損した日付レコードを補間する

スクリーンショット 2022-08-09 18.15.55.png


5-11 レコードに存在する欠損値/有効の数をカウントする

スクリーンショット 2022-08-10 9.09.00.png


5-12 欠損値フラグを作成する

スクリーンショット 2022-09-30 9.54.05.png


5-13 データ周期を集約する

image.png


5-14 欠損値を周囲中央値で置換する

スクリーンショット 2023-04-19 9.15.24.png


6.テーブルの結合

6-1 IDでテーブルを結合する 内部結合と完全外部結合

スクリーンショット 2022-06-30 14.43.20.png


6-2 IDでテーブルを結合する 部分外部結合と逆結合

スクリーンショット 2022-06-30 14.43.39.png


6-3 N対N結合で組み合わせテーブルを作成する

スクリーンショット 2022-06-30 18.48.45.png


6-4 複数のテーブルを縦方向に追加する

スクリーンショット 2022-07-04 11.48.47.png


6-5 複数条件でリストを名寄せする

スクリーンショット 2022-07-08 10.36.46.png


6-6 都道府県名称をマスタのコード番号で割り当てる

スクリーンショット 2022-08-10 9.56.27.png


6-7 法人等略語マスタで組織名を名寄せする

スクリーンショット 2022-08-10 13.25.21.png


6-8 取引先マスタで組織名を名寄せする

スクリーンショット 2022-08-10 15.18.29.png


6-9 顧客IDでテーブルを結合し重複する2つの列を比較する

スクリーンショット 2023-07-18 14.40.50.png


6-10 逆結合で会員毎推奨商品リストから購入済み商品を除外する

スクリーンショット 2023-12-12 17.15.07.png


7.行と列の操作

7-1 フラグ変数/ダミー変数作成 縦持ちを横持ちへ

スクリーンショット 2022-07-01 11.07.23.png


7-2 カテゴリ値を列に展開してIDで集約 縦持ちを横持ちへ

スクリーンショット 2022-07-01 11.09.02.png


7-3 行と列を入れ替える

スクリーンショット 2022-07-07 13.51.28.png


7-4 固定帳票のための行合計と列合計を作成する

スクリーンショット 2022-07-04 18.09.54.png


7-5 横持ちを縦持ち/トランザクション形式へ復元する

スクリーンショット 2022-07-08 11.30.09.png


7-6 重複する不要なレコード(行)を削除する

7_06.png


7-7 列名を変更する/不要な列を削除する

スクリーンショット 2022-08-03 9.19.28.png


7-8 レコード数/ユニークなID数をカウントする

スクリーンショット 2022-08-03 10.31.31.png


7-9 ID毎に各列に含まれる種類数をカウントする

スクリーンショット 2022-08-11 9.27.08.png


7-10 レコードを無作為に/層別にサンプリングする

スクリーンショット 2022-08-03 17.34.55.png


7-11 交差検証のためにデータを学習とテストに分割する

スクリーンショット 2022-09-04 16.16.15.png


7-12 オーバーサンプリングで不均衡データを調整する

スクリーンショット 2022-09-04 17.03.47.png


7-13 主成分分析で次元数/列を縮約する

スクリーンショット 2022-09-23 10.09.52.png


7-14 フィールド(列)の順番を入れ替える

スクリーンショット 2022-10-27 14.12.03.png


7-15 複数条件でレコード(行)を絞り込む

スクリーンショット 2022-10-28 21.18.45.png


7-16 区切り文字を含むフィールドの値を縦持ちする

スクリーンショット 2023-06-11 13.44.15.png


7-17 AとBの両方または片方を購入した顧客を抽出する

スクリーンショット 2023-09-14 9.14.53.png


7-18 1列内にある区切り文字(改行やカンマなど)を含む文字列を列展開にする

718.png


7-19 区切り文字で顧客のN回目までの購入商品を1列内に記述する

スクリーンショット 2023-12-26 10.15.09.png


8.予測精度の確認

8-1 Accuracy(精度)を求める

スクリーンショット 2022-08-12 11.52.05.png


8-2 Precison(適合率)とRecall(再現率)を求める

スクリーンショット 2022-08-13 10.43.29.png


8-3 F1スコアをを求める

スクリーンショット 2022-08-13 18.35.07.png


8-4 MCC(マシューズ相関係数)を求める

スクリーンショット 2022-08-14 8.53.25.png


8-5 ROC曲線の全ての座標を求めて散布図で描画する

スクリーンショット 2022-08-18 8.58.12.png


8-6 ROC曲線からAUCとGini(AR値)を求める

スクリーンショット 2022-08-18 17.28.39.png


8-7 ROC曲線からカットオフ値を求める

スクリーンショット 2022-08-19 13.41.05.png


8-8 ゲインチャートの座標からGini(AR値)を求める

スクリーンショット 2022-08-20 17.05.49.png


8-9 ゲインチャートから利益が最大化するスコアを求める

スクリーンショット 2022-08-21 8.05.42.png


8-10 PR曲線の全ての座標を求めて散布図で描画する

スクリーンショット 2022-09-05 11.46.28.png


8-11 MAPE(平均絶対パーセント誤差)を求める

スクリーンショット 2022-09-23 10.48.47.png


8-12 RMSE(二乗平均平方根誤差)を求める

スクリーンショット 2022-09-23 14.07.03.png


8-13 95%予測区間を求める

スクリーンショット 2022-09-23 15.04.32.png


8-14 予測フラグと確信度から傾向スコアを求める

スクリーンショット 2022-09-24 17.04.15.png


8-15 該当レコードは学習には用いない調整済み残差でPRESSを求める

スクリーンショット 2023-06-14 15.20.08.png


9.加工の効率化

9-1 複数のノードをスーパーノードでまとめる

スクリーンショット 2022-09-30 18.37.46.png


9-2 スーパーノードをパラメータで制御する

スクリーンショット 2022-09-30 21.36.16.png


9-3 ストリームをパラメータで制御する

スクリーンショット 2022-10-03 10.52.08.png


9-4 ストリームにメモ(付箋)を付けてチームで共有する

スクリーンショット 2022-10-03 13.00.58.png


9-5 キャッシュで2度目以降の処理速度を上げる

スクリーンショット 2022-10-18 9.54.58.png


9-6 DBにSQLを自動発行させ処理速度を上げる

スクリーンショット 2022-10-19 13.46.56.png


9-7 DBキャッシュで処理速度を上げる

スクリーンショット 2022-10-19 17.56.14.png


9-8 DB入力ノードにクエリを書き込んで高速に読み込む

スクリーンショット 2022-11-07 18.28.46.png


9-9 フィールド名(列名)から接頭辞/接尾辞を除外する

スクリーンショット 2023-02-28 18.42.55.png


9-10 モデルをカテゴリで出し分ける

スクリーンショット 2023-03-08 13.57.52.png


9-11 GUIループを使って列でグラフを出し分ける

スクリーンショット 2023-03-17 18.01.23.png


9-12 GUIループを使って値でグラフを出し分ける

スクリーンショット 2023-03-17 14.13.32.png


9-13 GUIループを使ってファイルを出し分ける

スクリーンショット 2023-03-28 10.59.51.png


9-14 Modelerスクリプトでループ処理を実行する

スクリーンショット 2023-04-03 14.33.39.png


9-15 Modelerスクリプトで複数ファイルを加工して結合する

スクリーンショット 2023-04-06 13.19.41.png


9-16 モデルに新規データを当てはめて予測(スコアリング)する

スクリーンショット 2023-05-01 15.09.30.png


9-17 ユーザー入力を自動生成させて新規レコードをモデルに当てはめる

pc.png


9-18 シミュレーション用に組み合わせデータを生成する

スクリーンショット 2023-05-29 11.45.58.png


9-19 シミュレーション用に組み合わせデータを生成する

スクリーンショット 2023-06-05 14.59.26.png


9-20 パラメータで入出力ファイルを制御する

スクリーンショット 2023-10-11 19.06.18.png


9-21 SPSS Modelerのみでマッチング最適化を実行する

スクリーンショット 2023-11-04 9.32.14.png


9-22 SPSS ModelerのCPLEXの最適化ノードでマッチング最適化を実行する

スクリーンショット 2023-11-04 9.32.14.png


10.グラフの表示

10-1 エラーバーを表示する

スクリーンショット 2022-11-11 14.35.32.png


10-2 円グラフを表示する

スクリーンショット 2022-11-15 14.26.31.png


10-3 ツリーマップを表示する

スクリーンショット 2022-11-11 18.45.32.png


10-4 複数系列グラフを表示する

スクリーンショット 2022-11-12 17.38.32.png


10-5 時系列を分解する

スクリーンショット 2022-11-12 18.13.07.png


10-6 ヒストグラムを表示する

スクリーンショット 2022-11-15 10.45.51.png


10-7 散布図/散布図行列を表示する

スクリーンショット 2022-11-15 11.20.15.png


10-8 棒グラフを表示する

スクリーンショット 2022-11-15 11.57.06.png


10-9 関係グラフを表示する

スクリーンショット 2022-11-15 14.20.52.png


10-10 箱ひげ図を表示する

スクリーンショット 2022-11-11 15.22.13.png


10-11 二重Y軸グラフを表示する

スクリーンショット 2022-11-24 13.27.45.png


10-12 Webグラフでカテゴリの上位アイテム間の同時購入を確認する

スクリーンショット 2023-07-04 11.32.19.png


11.集計表の作成

11-1 度数分布表を作成する

スクリーンショット 2022-11-29 17.51.05.png


11-2 カテゴリ毎の集計表を作成する

スクリーンショット 2022-12-05 17.57.24.png


11-3 カテゴリと時系列の集計表を作成する

スクリーンショット 2022-12-15 12.02.05.png


11-4 クロス集計表を作成する1*1_度数

スクリーンショット 2022-12-21 14.17.35.png


11-5 クロス集計表を作成する1*1_統計量

スクリーンショット 2022-12-27 10.32.21.png


11-6 クロス集計表を作成する2*1_度数

スクリーンショット 2023-01-18 18.06.53.png


11-7 クロス集計表を作成する2*1_統計量

スクリーンショット 2023-01-18 18.10.12.png


11-8 クロス集計表を作成する1*2_度数

スクリーンショット 2023-01-23 10.24.15.png


11-9 クロス集計表を作成する1*2_統計量

スクリーンショット 2023-01-31 11.52.50.png


11-10 クロス集計表を作成する2*2_度数

スクリーンショット 2023-02-06 18.12.33.png


11-11 クロス集計表を作成する2*2_統計量

スクリーンショット 2023-02-08 10.33.38.png


11-12 カテゴリ毎の商品実績ランキング

スクリーンショット 2023-02-15 11.48.26.png


11-13 特定商品と同ー期間中に併買される商品ランキング

スクリーンショット 2023-09-20 9.18.16.png


11-14 特定商品と同じ日に併買される商品ランキング

スクリーンショット 2023-09-26 8.47.15.png


11-15 併買の度数集計

スクリーンショット 2024-01-19 10.34.02.png


関連記事

Modeler書籍紹介とユーザー筆者座談会ブログ

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
7