search
LoginSignup
5

posted at

updated at

SPSS Modeler 逆引きストリーム集

SPSS Modeler 逆引きストリーム集

SPSS Modelerのデータ加工手順を大項目から逆引きで探して頂けます。手順を解説する各記事からサンプルストリームがダウンロードが可能です。データを内部生成しますのでストリームのみで完結します。2022年7月から毎週記事を追加する予定です。

2023/2/1 最終更新 DL可能ストリーム数 140

目次から大項目へリンク(右のサイドバーから個々の記事を閲覧できます)

項番 大項目へのリンク 処理の例 記事数
1 日付の処理 日付列から年月の列を作成する/曜日を識別する 12
2 文字列の加工 文字列から特定記号を除去する/N文字目を抽出する 12
3 統計量を作成 平均との差(偏差)や累積比率を作成する 21
4 時系列の処理 1行上の値との差を求める/N期移動平均を作成する 19
5 欠損値を補完 NULLや空白には平均値や代表値を代入する 12
6 テーブルの結合 テーブルを内部結合する/列方向に追加する 8
7 行と列の操作 時系列に記録された明細を顧客ごとに横持ちする 15
8 予測精度の確認 予測モデルの精度を業務の観点で評価する 14
9 データ加工の効率化 加工プロセスの反復やチーム共有を効率化する 8
10 グラフの表示 データの分布の確認する/グループ間の比較を行う 11
11 集計表の作成 集計表を作成する/固定帳票の自動化を行う

1.日付の処理

1-1 日付の列から年/月/日の列を作成する(年月日を分解する)

スクリーンショット 2022-06-22 12.01.01.png


1-2 日付の列から年月の列を作成する(年と月の文字列結合)

スクリーンショット 2022-06-22 12.01.49.png


1-3 日付の列から曜日の列を作成する

スクリーンショット 2022-06-14 12.47.20.png


1-4 2つの日付の列から差の列を作成する

スクリーンショット 2022-06-14 15.58.53.png


1-5 日付の列からN日後の列を作成する

スクリーンショット 2022-06-15 9.21.04.png


1-6 文字列/整数を日付型に変更し本日までの日数を作成する

スクリーンショット 2022-07-08 17.30.37.png


1-7 特定の日付や期間のレコードを抽出する

スクリーンショット 2022-07-15 10.12.14.png


1-8 52週の予測値を曜日重みで日毎に割り戻す

スクリーンショット 2022-07-25 8.55.56.png


1-9 タイムスタンプ列の差を計算する

68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3232333736332f63356235643131622d393061302d653836652d396631662d3239646338383635333937322e706e67.png


1-10 生年月日の列から年齢と年代の列を作成する

スクリーンショット 2022-08-08 13.19.12.png


1-11 日付の列から決算日に応じた四半期の列を作成する

スクリーンショット 2022-08-08 15.14.40.png


1-12 祝日マスタを日付で割り当て休日フラグを作成する

スクリーンショット 2022-08-08 18.06.18.png


2.文字列の加工

2-1 文字列から特定文字を除去する

スクリーンショット 2022-06-15 17.44.22.png


2-2 空白を除去して文字列を結合する

スクリーンショット 2022-06-16 13.35.15.png


2-3 文字列から先頭/末尾のN文字を抽出/削除する

スクリーンショット 2022-06-16 14.56.20.png


2-4 文字列からN文字目を抽出する

スクリーンショット 2022-06-17 10.00.59.png


2-5 記号間の文字列を抽出する

スクリーンショット 2022-06-17 16.44.31.png


2-6 コメント欄にリストのキーワードがあればフラグ化する

スクリーンショット 2022-06-24 13.44.34.png


2-7 整数型のIDの末尾が1のレコードを抽出/フラグ化する

スクリーンショット 2022-07-15 11.21.59.png


2-8 文字列「SPSS」を含むレコードを抽出/フラグ化する

2_08.png


2-9 半角カタカナを全角カタカナへ置換する

2_09.png


2-10 文字列を別の文字列に置換する

スクリーンショット 2022-08-09 10.06.33.png


2-11 括弧内の文字列を抽出/削除する

スクリーンショット 2022-08-09 10.40.10.png


2-12 カテゴリの値を別の値に割り当てる

スクリーンショット 2022-10-27 13.32.36.png


3.統計量を作成

3-1 2つの列の合計と比率を作成する

スクリーンショット 2022-06-21 11.40.17.png


3-2 複数の列の合計と比率を作成する

スクリーンショット 2022-06-21 17.29.29.png


3-3 各行の平均との差を求める

スクリーンショット 2022-06-22 9.21.18.png


3-4 累積合計と累積比率を求める

スクリーンショット 2022-06-22 10.15.31.png


3-5 値が100を超えたらフラグ立てる/抽出する

スクリーンショット 2022-06-23 9.05.25.png


3-6 ±3標準偏差を外れ値と定義して削除/抽出する

スクリーンショット 2022-07-10 10.41.20.png


3-7 上位/下位1%を外れ値と定義して削除/抽出する

スクリーンショット 2022-07-10 10.39.52.png


3-8 相関係数を求める

スクリーンショット 2022-07-25 10.58.55.png


3-9 相関行列と散布図行列を作成する

スクリーンショット 2022-08-03 11.43.36.png


3-10 値を対数変換する

スクリーンショット 2022-07-25 17.20.55.png


3-11 値をZスコアに標準化する

3_10a.png


3-12 値を25%(四分位)のランク毎に集計する

スクリーンショット 2022-08-26 14.24.57.png


3-13 値を10%(デシル)のランク毎に集計する

スクリーンショット 2022-08-26 14.35.10.png


3-14 値を1%(パーセンタイル)に分けてパレート図を作る

スクリーンショット 2022-08-26 14.13.57.png


3-15 値を任意の閾値でランクに分割する

スクリーンショット 2022-10-14 9.35.57.png


3-16 IQR(四分位範囲)の1.5倍を外れ値として削除/抽出する

スクリーンショット 2022-10-14 13.54.49.png


3-17 2地点の座標(緯度・経度)から距離を求める

スクリーンショット 2022-10-14 17.01.21.png


3-18 16進数を10進数に変換する

スクリーンショット 2022-10-20 11.59.38.png


3-19 複数列の最大値/最小値を求める

スクリーンショット 2022-11-03 18.10.52.png


3-20 乱数を生成する

スクリーンショット 2022-11-07 13.16.03.png


3-21 複数列の条件で値を割り当てる

スクリーンショット 2022-11-07 13.58.09.png


4.時系列の処理

4-1 全レコード/設備毎に通し番号を振る

スクリーンショット 2022-06-23 10.38.09.png


4-2 1行上/先頭行との値の差を求める

スクリーンショット 2022-06-27 17.20.08.png


4-3 移動平均を作成する

スクリーンショット 2022-06-27 17.41.41.png


4-4 過去の値を列に展開する

スクリーンショット 2022-06-28 17.50.45.png


4-5 顧客の最終利用日と経過日数を求める(リーセンシー)

スクリーンショット 2022-06-28 18.02.35.png


4-6 ID毎に値を累積してフラグをカウントアップする

スクリーンショット 2022-12-21 12.46.55.png


4-7 ID毎に前回のフラグからの経過時間を求める

スクリーンショット 2022-07-12 15.41.07.png


4-8 フラグが立つとオンになりIDが変わるとオフにする

スクリーンショット 2022-08-01 9.05.35.png


4-9 値が上昇から下降に転じたら反転フラグを作成する

スクリーンショット 2022-08-01 11.20.36.png


4-10 N期連続で値が上昇/下降したら安定フラグを作成する

スクリーンショット 2022-08-02 8.28.30.png


4-11 ID毎に同じ事象が起きてからの経過日数を求める

スクリーンショット 2022-08-02 9.35.18.png


4-12 7日前の値/移動平均との増減率を求める

スクリーンショット 2022-09-04 9.19.13.png


4-13 ID毎に初期値からの比率を求める

スクリーンショット 2022-09-04 10.36.12.png


4-14 ID毎に最大値からの比率を求める

スクリーンショット 2022-09-04 14.35.26.png


4-15 顧客の月毎と部門毎の実績を求める

スクリーンショット 2022-09-30 14.59.00.png


4-16 顧客ランクアップ予測の説明/ 目的変数を作成する

スクリーンショット 2022-10-20 14.41.15.png


4-17 未来の値を列に展開する

スクリーンショット 2022-10-28 22.02.11.png


4-18 顧客行動を日毎に要約し基礎統計をとる

スクリーンショット 2022-10-28 22.52.05.png


4-19 顧客の来店N日目を作成する

スクリーンショット 2022-11-07 15.56.58.png


5.欠損値を補完

5-1 欠損値/空白に直近の値を置換する

スクリーンショット 2022-06-29 11.23.37.png


5-2 欠損値を0に/0を欠損値に置換する

スクリーンショット 2022-06-29 12.42.08.png


5-3 欠損値を平均値で置換する

スクリーンショット 2022-06-29 11.15.26.png


5-4 欠損値を最小値/最大値で全行/カテゴリ毎に置換する

スクリーンショット 2022-07-06 10.21.20.png


5-5 欠損値を最頻値で置換する

スクリーンショット 2022-07-06 14.05.54.png


5-6 欠損値を中央値で置換する

スクリーンショット 2022-07-06 16.12.09.png


5-7 空白/空文字レコードを確認して削除/抽出する

スクリーンショット 2022-07-13 11.02.57.png


5-8 欠損値レコードを確認して削除/抽出する

スクリーンショット 2022-07-13 13.11.33.png


5-9 時系列の欠損値を線形補間する

5_09.png


5-10 実績がなく欠損した日付レコードを補間する

スクリーンショット 2022-08-09 18.15.55.png


5-11 レコードに存在する欠損値/有効の数をカウントする

スクリーンショット 2022-08-10 9.09.00.png


5-12 欠損値フラグを作成する

スクリーンショット 2022-09-30 9.54.05.png


6.テーブルの結合

6-1 IDでテーブルを結合する 内部結合と完全外部結合

スクリーンショット 2022-06-30 14.43.20.png


6-2 IDでテーブルを結合する 部分外部結合と逆結合

スクリーンショット 2022-06-30 14.43.39.png


6-3 N対N結合で組み合わせテーブルを作成する

スクリーンショット 2022-06-30 18.48.45.png


6-4 複数のテーブルを縦方向に追加する

スクリーンショット 2022-07-04 11.48.47.png


6-5 複数条件でリストを名寄せする

スクリーンショット 2022-07-08 10.36.46.png


6-6 都道府県名称をマスタのコード番号で割り当てる

スクリーンショット 2022-08-10 9.56.27.png


6-7 法人等略語マスタで組織名を名寄せする

スクリーンショット 2022-08-10 13.25.21.png


6-8 取引先マスタで組織名を名寄せする

スクリーンショット 2022-08-10 15.18.29.png


7.行と列の操作

7-1 フラグ変数/ダミー変数作成 縦持ちを横持ちへ

スクリーンショット 2022-07-01 11.07.23.png


7-2 カテゴリ値を列に展開してIDで集約 縦持ちを横持ちへ

スクリーンショット 2022-07-01 11.09.02.png


7-3 行と列を入れ替える

スクリーンショット 2022-07-07 13.51.28.png


7-4 固定帳票のための行合計と列合計を作成する

スクリーンショット 2022-07-04 18.09.54.png


7-5 横持ちを縦持ち/トランザクション形式へ復元する

スクリーンショット 2022-07-08 11.30.09.png


7-6 重複する不要なレコード(行)を削除する

7_06.png


7-7 列名を変更する/不要な列を削除する

スクリーンショット 2022-08-03 9.19.28.png


7-8 レコード数/ユニークなID数をカウントする

スクリーンショット 2022-08-03 10.31.31.png


7-9 ID毎に各列に含まれる種類数をカウントする

スクリーンショット 2022-08-11 9.27.08.png


7-10 レコードを無作為に/層別にサンプリングする

スクリーンショット 2022-08-03 17.34.55.png


7-11 交差検証のためにデータを学習とテストに分割する

スクリーンショット 2022-09-04 16.16.15.png


7-12 オーバーサンプリングで不均衡データを調整する

スクリーンショット 2022-09-04 17.03.47.png


7-13 主成分分析で次元数/列を縮約する

スクリーンショット 2022-09-23 10.09.52.png


7-14 フィールド(列)の順番を入れ替える

スクリーンショット 2022-10-27 14.12.03.png


7-15 複数条件でレコード(行)を絞り込む

スクリーンショット 2022-10-28 21.18.45.png


8.予測精度の確認

8-1 Accuracy(精度)を求める

スクリーンショット 2022-08-12 11.52.05.png


8-2 Precison(適合率)とRecall(再現率)を求める

スクリーンショット 2022-08-13 10.43.29.png


8-3 F1スコアをを求める

スクリーンショット 2022-08-13 18.35.07.png


8-4 MCC(マシューズ相関係数)を求める

スクリーンショット 2022-08-14 8.53.25.png


8-5 ROC曲線の全ての座標を求めて散布図で描画する

スクリーンショット 2022-08-18 8.58.12.png


8-6 ROC曲線からAUCとGini(AR値)を求める

スクリーンショット 2022-08-18 17.28.39.png


8-7 ROC曲線からカットオフ値を求める

スクリーンショット 2022-08-19 13.41.05.png


8-8 ゲインチャートの座標からGini(AR値)を求める

スクリーンショット 2022-08-20 17.05.49.png


8-9 ゲインチャートから利益が最大化するスコアを求める

スクリーンショット 2022-08-21 8.05.42.png


8-10 PR曲線の全ての座標を求めて散布図で描画する

スクリーンショット 2022-09-05 11.46.28.png


8-11 MAPE(平均絶対パーセント誤差)を求める

スクリーンショット 2022-09-23 10.48.47.png


8-12 RMSE(二乗平均平方根誤差)を求める

スクリーンショット 2022-09-23 14.07.03.png


8-13 95%予測区間を求める

スクリーンショット 2022-09-23 15.04.32.png


8-14 予測フラグと確信度から傾向スコアを求める

スクリーンショット 2022-09-24 17.04.15.png


9.データ加工の効率化

9-1 複数のノードをスーパーノードでまとめる

スクリーンショット 2022-09-30 18.37.46.png


9-2 スーパーノードをパラメータで制御する

スクリーンショット 2022-09-30 21.36.16.png


9-3 ストリームをパラメータで制御する

スクリーンショット 2022-10-03 10.52.08.png


9-4 ストリームにメモ(付箋)を付けてチームで共有する

スクリーンショット 2022-10-03 13.00.58.png


9-5 キャッシュで2度目以降の処理速度を上げる

スクリーンショット 2022-10-18 9.54.58.png


9-6 DBにSQLを自動発行させ処理速度を上げる

スクリーンショット 2022-10-19 13.46.56.png


9-7 DBキャッシュで処理速度を上げる

スクリーンショット 2022-10-19 17.56.14.png


9-8 DB入力ノードにクエリを書き込んで高速に読み込む

スクリーンショット 2022-11-07 18.28.46.png


10.グラフの表示

10-1 エラーバーを表示する

スクリーンショット 2022-11-11 14.35.32.png


10-2 円グラフを表示する

スクリーンショット 2022-11-15 14.26.31.png


10-3 ツリーマップを表示する

スクリーンショット 2022-11-11 18.45.32.png


10-4 複数系列グラフを表示する

スクリーンショット 2022-11-12 17.38.32.png


10-5 時系列を分解する

スクリーンショット 2022-11-12 18.13.07.png


10-6 ヒストグラムを表示する

スクリーンショット 2022-11-15 10.45.51.png


10-7 散布図/散布図行列を表示する

スクリーンショット 2022-11-15 11.20.15.png


10-8 棒グラフを表示する

スクリーンショット 2022-11-15 11.57.06.png


10-9 関係グラフを表示する

スクリーンショット 2022-11-15 14.20.52.png


10-10 箱ひげ図を表示する

スクリーンショット 2022-11-11 15.22.13.png


10-11 二重Y軸グラフを表示する

スクリーンショット 2022-11-24 13.27.45.png


11.集計表の作成

11-1 度数分布表を作成する

スクリーンショット 2022-11-29 17.51.05.png


11-2 カテゴリ毎の集計表を作成する

スクリーンショット 2022-12-05 17.57.24.png


11-3 カテゴリと時系列の集計表を作成する

スクリーンショット 2022-12-15 12.02.05.png


11-4 クロス集計表を作成する1*1_度数

スクリーンショット 2022-12-21 14.17.35.png


11-5 クロス集計表を作成する1*1_統計量

スクリーンショット 2022-12-27 10.32.21.png


11-6 クロス集計表を作成する2*1_度数

スクリーンショット 2023-01-18 18.06.53.png


11-7 クロス集計表を作成する2*1_統計量

スクリーンショット 2023-01-18 18.10.12.png


11-8 クロス集計表を作成する1*2_度数

スクリーンショット 2023-01-23 10.24.15.png


関連記事

Modeler書籍紹介とユーザー筆者座談会ブログ

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
What you can do with signing up
5