Amazon AI by ナレコム Advent Calendar 2018の16日目の記事です。
今日は、Amazon SageMaker IP Insights アルゴリズムを試してみました。
IP Insights アルゴリズムは、IPアドレスの異常な動作や使用パターンを検出するものです。
チュートリアルがあるので、実行してみましょう。
ノートブックインスタンスの作成
1．AWS Consoleを開き、SageMakerを開きます。
2．左のメニューのノートブック->ノートブックインスタンスを選択し、ノートブックインスタンスの作成をクリックして新規作成します。
3．ステータスがInServiceになったら、アクションにある開く Jupyterをクリックして、Jupyterを開きます。
Jupyterの作成
1．SageMaker Examplesタブをクリックし、Introduction to Amazon Algorithmsを展開します。
2．ipinsights-tutorial.ipynbの右側にあるUseをクリックし、Create Copyをクリックしてチュートリアルのコピーを作成します。
3．S3を作成します。バケット名は、sagemaker-ipinsights-testとしました。
4．作成したS3を指定します。
データセットの準備
1．データセットをインストールします。
2．ファイルを読み込みます。
3．タイムスタンプをDateTimeオブジェクトに変換します。
4．タイムゾーンの一致を確認します。
5．タイムゾーンの処理をします。
6．リソースを選択します。
7．ユーザーとIPアドレスを抽出します。
8．学習とテストのデータセットを作成します。
9．10日間のログイベントを使用し、7日間を学習、3日間をテストとします。
10．学習データをシャッフルします。
学習
1．S3に格納します。
2．イメージを取得します。
3．学習します。
推論
1．エンドポイントを作成します。
2．データのシリアライズ/デシリアライズ
3．dot_productを表示します。
異常検出スコアの計算
1．通常のトラフィックデータセットを使用します。
2．異常のトラフィックデータセットを挿入します。
分布の表示
閾値が0.0の場合、103390件の中、98394件が異常と予測してます。
精度は95%となりました。
まとめ
Amazon SageMaker IP Insights アルゴリズムを試してみました。
独自のデータセットでやってみたいですね。
参考文献
[1] Amazon SageMaker IP Insights アルゴリズムを使用して、不審な IP アドレスを検出する