Go to Qiita Advent Calendar 2024 Top
LoginSignup
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

@domokun70cm(Nobuhiro Nakayama)

[JAWS-UG CLI] Amazon MachineLearning 入門 (5) バッチ予測の実行（バッチ予測）

Last updated at Posted at 2016-10-23

この記事について

JAWS-UG CLI専門支部 #67 MachineLearning入門で実施するハンズオン用の手順書です。

前提条件

必要な権限

作業にあたっては、以下の権限を有したIAMユーザもしくはIAMロールを利用してください。

  • MachineLearningのフルコントロール権限
  • S3のフルコントロール権限

0. 準備

0.1. リージョンを指定

コマンド
export AWS_DEFAULT_REGION="eu-west-1"

0.2. 資格情報を確認

コマンド
aws configure list

インスタンスプロファイルを設定したEC2インスタンスでアクセスキーを設定せずに実行した場合、以下のようになります。

結果
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************GMWA         iam-role
secret_key     ****************obFC         iam-role
    region                eu-west-1              env    AWS_DEFAULT_REGION

0.3. バージョン確認

コマンド
aws --version
結果
aws-cli/1.10.66 Python/2.7.12 Linux/4.4.19-29.55.amzn1.x86_64 botocore/1.4.56

0.4. バージョンアップ（必要に応じて）

コマンド
sudo pip install -U awscli

0.5. 変数の確認

コマンド
cat << ETX

    BUCKET_NAME: ${BUCKET_NAME}
    AWS_ID: ${AWS_ID}
    ML_MODEL_ID: ${ML_MODEL_ID}

ETX
結果

    BUCKET_NAME: jawsug-cli-ml-************
    AWS_ID: ************
    ML_MODEL_ID: ml-model-cli-************

1. バッチ予測

1.1. バッチ予測の作成

バッチ予測IDの指定

コマンド
BAT_ID="bat-cli-${AWS_ID}-$(date +%Y%m%d%H)"

変数の確認

コマンド
cat << ETX

    BAT_ID: ${BAT_ID}
    ML_MODEL_ID: ${ML_MODEL_ID}
    PREDICTION_DATA_SOURCE_ID: ${PREDICTION_DATA_SOURCE_ID}
    BUCKET_NAME: ${BUCKET_NAME}

ETX
結果

    BAT_ID: bat-cli-************
    ML_MODEL_ID: ml-model-cli-************
    PREDICTION_DATA_SOURCE_ID: prediction-cli-************
    BUCKET_NAME: jawsug-cli-ml-************

バッチ予測の作成

コマンド
aws machinelearning create-batch-prediction \
    --batch-prediction-id ${BAT_ID} \
    --ml-model-id ${ML_MODEL_ID} \
    --batch-prediction-data-source-id ${PREDICTION_DATA_SOURCE_ID} \
    --output-uri s3://${BUCKET_NAME}/
結果
{
    "BatchPredictionId": "bat-cli-************"
}

1.2. バッチ予測の確認

バッチ予測の確認(1)

コマンド
aws machinelearning get-batch-prediction \
    --batch-prediction-id ${BAT_ID}
結果
{
    "Status": "COMPLETED",
    "ComputeTime": 42000,
    "Name": "bat-cli-************",
    "InputDataLocationS3": "s3://jawsug-cli-ml-************/banking-batch.csv",
    "InvalidRecordCount": 0,
    "CreatedByIamUser": "arn:aws:iam::************:user/user01",
    "MLModelId": "ml-model-cli-************",
    "TotalRecordCount": 4119,
    "LastUpdatedAt": 1474613923.804,
    "BatchPredictionDataSourceId": "prediction-cli-************",
    "OutputUri": "s3://jawsug-cli-ml-************/",
    "StartedAt": 1474613832.984,
    "BatchPredictionId": "bat-cli-************",
    "LogUri": "https://eml-prod-dub-emr.s3.amazonaws.com/************-bp-bat-cli/userlog/************-bp-bat-cli?AWSAccessKeyId=********************&Expires=1475218749&Signature=********************************",
    "CreatedAt": 1474613830.048,
    "FinishedAt": 1474613923.804
}

バッチ予測の確認(2)

コマンド
aws machinelearning describe-batch-predictions
結果
{
    "Results": [
        {
            "Status": "COMPLETED",
            "ComputeTime": 42000,
            "Name": "bat-cli-************",
            "InputDataLocationS3": "s3://jawsug-cli-ml-************/banking-batch.csv",
            "InvalidRecordCount": 0,
            "CreatedByIamUser": "arn:aws:iam::************:user/user01",
            "MLModelId": "ml-model-cli-************",
            "TotalRecordCount": 4119,
            "LastUpdatedAt": 1474613923.804,
            "BatchPredictionDataSourceId": "prediction-cli-************",
            "OutputUri": "s3://jawsug-cli-ml-************/",
            "StartedAt": 1474613832.984,
            "BatchPredictionId": "bat-cli-************",
            "CreatedAt": 1474613830.048,
            "FinishedAt": 1474613923.804
        }
    ]
}

ログの確認

コマンド
BAT_LOG_URI=$(aws machinelearning get-batch-prediction \
    --batch-prediction-id ${BAT_ID} \
    --query LogUri \
    --output text) \
    && curl ${BAT_LOG_URI}

1.3. バッチ予測結果の確認

URLの確認

コマンド
OUTPUT_URL=$(aws machinelearning get-batch-prediction \
    --batch-prediction-id ${BAT_ID} \
    --query "OutputUri" \
    --output text) \
    && echo ${OUTPUT_URL}
結果
s3://jawsug-cli-ml-************/

結果ファイルの確認

コマンド
aws s3 ls ${OUTPUT_URL}batch-prediction/result/
結果
2016-09-23 06:58:28      20195 bat-cli-************-banking-batch.csv.gz

ファイルのダウンロード

コマンド
aws s3 cp ${OUTPUT_URL}batch-prediction/result/${BAT_ID}-banking-batch.csv.gz ~/${BAT_ID}-banking-batch.csv.gz
結果
download: s3://jawsug-cli-ml-************/batch-prediction/result/bat-cli-************-banking-batch.csv.gz to ./bat-cli-************-banking-batch.csv.gz

ファイルの展開

コマンド
gzip -d ~/${BAT_ID}-banking-batch.csv.gz
結果
（返値無し）

ファイルの確認

コマンド
head -n 100 ${BAT_ID}-banking-batch.csv
結果
bestAnswer,score
0,8.590992E-2
0,1.335159E-2
0,1.950702E-2
0,1.63126E-3
0,2.532505E-3
0,9.161337E-2
0,4.183979E-1
0,1.800268E-3
0,2.563585E-3
0,3.935924E-3
0,4.716424E-2
0,1.501254E-2
0,2.398386E-3
0,8.43198E-3
0,4.303181E-1
0,2.86207E-1
0,2.357897E-2
0,1.268291E-3
0,1.642615E-3
0,3.097656E-1
0,2.948386E-2
1,7.252365E-1
1,5.434449E-1
0,1.312167E-2
0,1.915593E-2
0,1.009565E-1
0,4.014505E-2
0,2.910636E-3
0,3.118411E-3
0,6.947834E-3
0,1.809382E-1
0,4.026444E-2
0,2.908092E-1
0,1.897957E-2
0,2.379741E-3
0,7.800709E-2
0,1.223549E-3
0,7.934856E-2
0,4.733014E-3
0,1.153531E-1
0,2.497169E-3
0,4.523935E-2
0,1.775234E-1
0,1.56301E-2
0,4.539988E-2
0,8.185244E-2
0,9.733788E-3
0,5.293093E-3
0,2.525336E-2
0,1.301621E-2
0,4.115836E-1
0,3.770942E-2
0,2.402706E-2
0,3.158798E-1
0,1.751984E-2
0,1.735797E-3
0,2.206039E-3
0,8.102211E-3
0,8.296724E-3
1,6.299675E-1
0,2.314626E-1
0,1.80875E-2
1,8.896276E-1
0,6.093348E-2
0,5.301622E-3
0,8.836432E-2
0,6.371402E-2
0,2.497029E-2
1,6.450742E-1
0,7.008393E-2
0,4.396785E-2
0,1.793529E-1
0,6.828636E-3
0,8.618571E-3
1,5.415242E-1
0,7.498209E-3
0,4.472229E-2
0,3.440514E-2
0,2.017661E-3
0,4.173267E-2
1,6.667838E-1
0,1.113257E-2
0,3.411497E-3
1,7.40254E-1
0,3.20409E-2
0,6.831488E-3
0,6.114282E-3
0,1.881771E-1
0,8.277351E-2
0,1.525499E-3
0,2.966657E-2
0,9.674413E-3
0,2.176874E-2
0,1.185455E-2
0,5.816767E-3
0,2.041374E-2
0,1.054261E-2
0,8.247854E-3
0,6.490427E-2

以上です。

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?