はじめに
2021年にGAされたRedshiftMLについて触ってみようと思い、皆さん大好きTitanicでやってみました。
参考にしたのは、いつもお世話になっているクラメソさんのブログ「AWS RedShift MLでSQLを使った機械学習をする」です。（クラメソさんは別のデータで実施してます）
事前準備
データ取得
Kaggleのtitanicデータページから３つのファイルを取得。
・titanic_train.csv
・titanic_test.csv
・gender_submission.csv
IAMロール作成＆Redshiftクラスタ作成
（IMAロール系は詳しくなく）「AmazonS3FullAccess」、「AmazonSageMakerFullAccess」、「AmazonRedshiftDataFullAccess」を付けたRedshift用ロールを作ってRedshiftクラスターを作成。
（おそらくいらないポリシーもある）
Redshiftインスタンスはdc2.large×1nodeでやってます。
テーブル作成
titanicデータ投入用のテーブルを作成。testテーブルは予測項目の「Survived 」を保有していないことに注意。
train用テーブル
CREATE TABLE titanic_train(
PassengerId integer,
Survived integer,
Pclass integer,
Name varchar,
Sex varchar,
Age decimal,
SibSp integer,
Parch integer,
Ticket varchar,
Fare varchar,
Cabin varchar,
Embarked varchar);
test用テーブル(Survived無し)
CREATE TABLE titanic_test(
PassengerId integer,
Pclass integer,
Name varchar,
Sex varchar,
Age decimal,
SibSp integer,
Parch integer,
Ticket varchar,
Fare varchar,
Cabin varchar,
Embarked varchar);
gender_submission
CREATE TABLE gender_submission(
PassengerId integer,
Survived integer);
データ投入
S3からテーブルにデータをロード。（他のわかりやすいページで解説されていると思いますので省略）
モデル作成
CREATE MODEL
このあたりは開発ガイドも参照しながら作成。
今回は単純なモデル作成で実行してますが、XGBoostを指定したトレーニングもできるようですね。
CREATE MODEL
CREATE MODEL titanic_survived
FROM titanic_train
TARGET Survived
FUNCTION predict_survived
IAM_ROLE '(IAMロールのarn)'
SETTINGS (
S3_BUCKET '(S3バケット名)'
);
SHOW MODEL(TRAINING中)
SHOW MODEL(TRAINING中)
dev=# SHOW MODEL titanic_survived;
Key | Value
--------------------------+------------------------------------------------------------------------------
Model Name | titanic_survived
Schema Name | public
Owner | postgres01
Creation Time | Mon, 14.02.2022 03:58:14
Model State | TRAINING ←★実行中はTRAINING★
|
TRAINING DATA: |
Query | SELECT *
| FROM "TITANIC_TRAIN"
Target Column | SURVIVED
|
PARAMETERS: |
Model Type | auto
Problem Type |
Objective |
AutoML Job Name | redshiftml-20220214035814151238
Function Name | predict_survived
Function Parameters | passengerid pclass name sex age sibsp parch ticket fare cabin embarked
Function Parameter Types | int4 int4 varchar varchar numeric int4 int4 varchar varchar varchar varchar
IAM Role | (IAMロールのarn)
S3 Bucket | (S3バケット)
Max Runtime | 5400
(22 rows)
SHOW MODEL(TRAINING完了)
待つこと・・・、1時間半・・・。
SHOW MODEL(TRAINING完了)
dev=# SHOW MODEL titanic_survived;
Key | Value
--------------------------+------------------------------------------------------------------------------
Model Name | titanic_survived
Schema Name | public
Owner | postgres01
Creation Time | Mon, 14.02.2022 03:58:14
Model State | READY ←★Readyになったら完了★
Training Job Status | MaxAutoMLJobRuntimeReached
validation:f1_binary | 0.783060
Estimated Cost | 9.685500
|
TRAINING DATA: |
Query | SELECT *
| FROM "TITANIC_TRAIN"
Target Column | SURVIVED
|
PARAMETERS: |
Model Type | auto
Problem Type | BinaryClassification
Objective | F1
AutoML Job Name | redshiftml-20220214035814151238
Function Name | predict_survived
Function Parameters | passengerid pclass name sex age sibsp parch ticket fare cabin embarked
Function Parameter Types | int4 int4 varchar varchar numeric int4 int4 varchar varchar varchar varchar
IAM Role | (IAMロールのarn)
S3 Bucket | (S3バケット)
Max Runtime | 5400
(25 rows)
予測
TRAINデータで予測
予測実行
SELECT predict_survived, Survived, COUNT(*)
FROM (SELECT predict_survived(
PassengerId ,Pclass ,Name ,Sex ,Age ,SibSp ,Parch ,
Ticket ,Fare , Cabin ,Embarked), Survived
FROM titanic_train)
GROUP BY predict_survived, Survived order by predict_survived, Survived;
結果
predict_survived | survived | count
------------------+----------+-------
0 | 0 | 534
0 | 1 | 17
1 | 0 | 15
1 | 1 | 325
(4 rows)
TRAINデータの正解率は96.4%
TESTデータで予測
予測実行
SELECT predict_survived, Survived, COUNT(*)
FROM (SELECT predict_survived(
t.PassengerId ,Pclass ,Name ,Sex ,Age ,SibSp ,Parch ,
Ticket ,Fare , Cabin ,Embarked), Survived
FROM titanic_test t inner join gender_submission s on t.PassengerId = s.PassengerId)
GROUP BY predict_survived, Survived order by predict_survived, Survived;
結果
predict_survived | survived | count
------------------+----------+-------
0 | 0 | 241
0 | 1 | 44
1 | 0 | 25
1 | 1 | 108
(4 rows)
TESTデータの正解率は83.4%
何も頭を使わずに作成したモデルの精度としては十分な感じでしょうか。
最後に
あまり詰まることなく、サクサク実行できた感触です。
CREATE MODELが終わるまでRedshiftを立ち上げっぱなしなのが個人アカウントで利用しているとややしんどい・・・。