はじめに

この記事はシスコの同志による Cisco Systems Japan Advent Calendar 2018 の 18 日目として投稿しました。今年はカレンダーが２つあります！！

2020年版(1枚目): https://qiita.com/advent-calendar/2020/cisco
2020年版(2枚目): https://qiita.com/advent-calendar/2020/cisco2

2017年版: https://qiita.com/advent-calendar/2017/cisco
2018年版: https://qiita.com/advent-calendar/2018/cisco
2019年版: https://qiita.com/advent-calendar/2019/cisco
2020年版: https://qiita.com/advent-calendar/2020/cisco

このエントリで取り上げるテーマは、「AWS Lambda で作る無償の脅威インテリジェンスリレーモジュール」です。Cisco SecureXという、こちらも無償のCiscoのプラットフォームを利用し、数多くの利用可能な脅威インテリジェンスプラットフォームを組み合わせて、AWS Lambda 上に情報中継用のアプリケーションをデプロイします。以下のステップでまとめます。

無償で使えるセキュリティプラットフォーム：Cisco SecureX
リレーモジュールの導入ステップ
AWS Lambda 環境セットアップ
AWS Lambda にリレーモジュールデプロイ
Cisco SecureX へのリレーモジュール組み込み

無償で使えるセキュリティプラットフォーム：Cisco SecureX

Ciscoのセキュリティ製品を利用している誰もが、すぐに、簡単に、サインナップして使える無償のプラットフォームとして、Cisco SecureX が今年の7月1日にリリースされました！Cisco SecureXは日々のセキュリティオペレーションについて、運用の簡素化、可視化の改善、運用の効率化を目指して開発された、「クラウドから提供されるセキュリティ製品のAPIアグリゲータ」です。

フリートライアルも含む、例えば Umbrella、AMP、Firepower、Stealthwatch など、どれかを使っていれば Cisco SecureX アカウントによりこれらの製品と連携でき、専用の統合化されたダッシュボードを構築することができます。さらに Cisco SecureX Orchestrator と、ビルドインも含む SecureX 上で新しく設計・設定できるオーケストレーションワークフローを使うことによって、インシデント発生時に行う作業の自動化、インシデントに関わる Observable （怪しいドメイン、IPアドレス、ファイルハッシュなどの観測情報）の調査を劇的に簡素化することが可能になります。

Cisco SecureX はシスコ製品だけでなく、シスコ製品以外のメーカーのセキュリティ製品や、データセンターインフラ、ネットワーク・インフラ、クラウドセキュリティサービスに対してオーケストレーションワークフローを組み込むことが可能です。

Cisco SecureX (http://security.cisco.com)

のリンクから、ログイン/サインナップできます！

無償の脅威インテリジェンスと SecureX リレーモジュール

Cisco SecureX で連携可能な脅威インテリジェンス提供サービス、連携可能な他ベンダー製品は以下より参照可能です。

Cisco SecureX threat response: Integrations and Partners

VirusTotal は非常に有名で良く使われる方も多いのではないでしょうか？他にも Shodan.io や AbuseIPDB 、 Google Safe Browsing 、 Microsoft Graph Security なども有名です。Cisco SecureX では、このような各インテリジェンス提供サービスと連携させるための「リレーモジュール」が用意されています。

Cisco Security APIs

これにより、各インテリジェンスソースをアプリケーションとして展開された AWS Lambda 関数および、 API Gateway により Cisco SecureX に対応した STIX 2.0 ベースの CTIM (Cisco Threat Intel Model) に変換し、SecureX Threat Response 機能に情報をエンリッチできます。

リレーモジュールの導入ステップ

今回はサンプルとして Shodan.io のリレーモジュールを AWS Lambda 上に展開します。基本的にはその他の AWS 上でリレーモジュールを利用するインテリジェンス連携も、作業ステップは同じです。

SecureX Shodan Relay
https://github.com/CiscoSecurity/tr-05-serverless-shodan#shodan-relay-api

デプロイ用ローカル環境の整備 (python/pip/zappaのインストールと環境設定)（AWS Lambdaを展開する準備)
AWS Lambda (IAM) 環境セットアップ
AWS Lambda にリレーモジュールデプロイ
Cisco SecureX へのリレーモジュール組み込み

以下、導入用の環境を使いました。

CentoOS 6.10

デプロイ用ローカル環境の整備 (python/pip/zappaのインストールと環境設定)（AWS Lambdaを展開する準備)

python 3.7 インストール

アプリケーション導入に必要な要求事項として、 python は Version 3.7 以上である必要があります。
https://github.com/CiscoSecurity/tr-05-serverless-shodan#shodan-relay-api

The application has been implemented and tested using Python 3.7. You may try to use any higher versions if you wish as they should be backward-compatible.

python が旧バージョンだったため、バージョン3.7 をインストールします。

pyhon3.7

# yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel
# cd /usr/src
# wget https://www.python.org/ftp/python/3.7.9/Python-3.7.9.tgz

# tar xzf Python-3.7.9.tgz
# cd Python-3.7.9
# ./configure --enable-optimizations
# make altinstall

シンボリックリンクの貼り直し等の調整を行いました

シンボリックリンク調整

# ln -s /usr/local/bin/python3.7 /usr/bin/python3
# ln -s /usr/local/bin/pip3.7 /usr/bin/pip3

Zappaイントール

AWS の PaaS である AWS Lambda + API Gateway として Cisco SecureX リレーモジュールをデプロイします。イベントドリブンであるこの Python ベースのアプリケーションは Zaapa を使って導入ができます。Cisco SecureX リレーモジュールは Python アプリのためのサーバレス Web アプリケーションとなります。もちろんすでに AWS Lambda を利用している方はこのステップは必要ありません。ここでは Zappa をインストールします。

Zappa

# pip install --upgrade pip
# pip install flask
# pip install zappa

# zappa init
# zappa deploy

awscli インストール

Zappa で導入する AWS Lambda IAM ユーザ環境をセットアップするため、awscliをインストールします。

awscli

# pip install awscli

デプロイ用ローカル環境のリレーモジュールの導入準備

リレーモジュールを導入用の環境へコピー

導入用環境 (CentOS) の任意のディレクトリに、リレーモジュールソースコードをコピーします。

git

# git clone https://github.com/CiscoSecurity/tr-05-serverless-shodan

リレーモジュール導入用環境ファイルの編集

zappa_settings.json

# cp zappa_settings.json zappa_settings.json.bak
# vi zappa_settings.json

"aws_region" は導入するべき正しい AWS リージョンに変更、"s3_bucket" は AWS Accoun ID 等任意の情報を追加するのが望ましいです。S3 バケットの情報は AWS アカウントに対してユニークである必要があります。同一 AWS アカウント内で展開する AWS Lambda 関数の名前が重複することはできません。

zappa_settings.json

{
    "dev": {
        "app_function": "app.app",
        "aws_region": "ap-northeast-1",
        "exclude": [".*", "*.json", "*.md", "*.txt"],
        "keep_warm": false,
        "log_level": "INFO",
        "manage_roles": false,
        "profile_name": "serverless",
        "project_name": "tr-shodan-relay",
        "role_name": "tr-serverless-relay-ZappaLambdaExecutionRole",
        "runtime": "python3.7",
        "s3_bucket": "zappa-tr-shodan-relay-xxxxxxxx"
    }
}

リレーモジュール導入用 IAM ユーザ Deployment ポリシーファイルの編集

以降のステップで適用する、AWS IAM ユーザの Deployment Policy のテンプレートファイルを編集します。以下のようにの項目を "< >" を削除した、前のステップで設定をした AWS IAM ユーザを利用する AWS Account ID に書き換えます。

ZappaLambdaDeploymentPolicy.json

# cd aws
# vi ZappaLambdaDeploymentPolicy.json

ZappaLambdaDeploymentPolicy.json(編集前)

:
            "Resource": [
                "arn:aws:iam::<ACCOUNT_ID>:role/*ZappaLambdaExecutionRole"
            ]
:

ZappaLambdaDeploymentPolicy.json(編集後)

:
            "Resource": [
                "arn:aws:iam::9xxxxxxxxxx2:role/*ZappaLambdaExecutionRole"
            ]
:

AWS Lambda 環境セットアップ

AWS IAM ユーザ作成

以下に従って、AWS IAM ユーザの導入ポリシーとロールのセットアップを行います。２つ目以降のリレーモジュールを展開する場合も含め、この作業は一回のみで終了します。２つ目以降の新規モジュール導入では、このステップを省略できます。
https://github.com/CiscoSecurity/tr-05-serverless-shodan/blob/develop/aws/HOWTO.md

AWS コンソールにログイン
コンソールホームから ”IAM” を検索
左のPaneの ”アクセス管理” から ”ユーザー” タブを選択
”ユーザーを追加”（青ボタン）をクリック
- ユーザ名：serverless
- アクセスの種類
- プログラムによるアクセス：チェック
- ”次のステップ：アクセス権限”　をクリック（次へ）
”ユーザーを追加” ”次のステップ：タグ”　をクリック（何も選択せず次へ）
”ユーザーを追加” "タグの追加オプション" ： ”次のステップ：確認”　をクリック（何も選択せず次へ）
”ユーザーを追加”
- "このユーザにはアクセス権限がありません" と警告が出ますが、問題ありません。
- ”ユーザの作成”　をクリック（次へ）
”ユーザーを追加”
- IAMユーザ作成が成功したステータスが確認できます
- ".csvのダウンロード" を選択しローカルファイルに保存
保存した .csv ファイルを確認し、作成したserverlessユーザの以下情報を保存します
- アクセスキー (AWS Access Key ID)
- シークレットキー (AWS Secret Access Key)

Deployment ポリシー (ZappaLambdaDeploymentPolicy) の作成とIAMユーザへのアタッチ

IAM コンソール
- アクセス管理 ポリシー 選択
ポリシー作成 選択
JSON タグ選択
- 既存の設定を削除し、前のステップで編集した ZappaLambdaDeploymentPolicy.json の内容をコピー＆ペーストします。
ポリシーの確認 選択
ポリシー名を "ZappaLambdaDeploymentPolicy" に指定
IAM コンソール アクセス管理 ユーザ 選択
serverless 選択
アクセス権限の追加 選択
既存のポリシーを直接アタッチ 選択
"ZappaLambdaDeploymentPolicy" 選択
アクセス権限の追加 選択

IAMロール : tr-serverless-relay-ZappaLambdaExecutionRole 作成

IAM コンソール
- アクセス管理 ポリシー 選択
ポリシーの作成 選択
JSON タグ選択
- ローカルにクローンした aws/ZappaLambdaExecutionPolicy.json をコピー＆ペースト

ZappaLambdaExecutionPolicy.json

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:*"
            ],
            "Resource": "arn:aws:logs:*:*:*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

ポリシーの選択 選択
ポリシーの作成 選択
IAM コンソール
- アクセス管理 ロール 選択
ロールの作成 選択
AWS サービス Lambda 選択
次のステップ：アクセス権限 選択
ZappaLambdaExecutionPolicy を選択
- 検索ボックスに "Zappa" を入力、表示された
- ZappaLambdaExecutionPolicy を選択し、チェックボックスにチェック
次のステップ：タグ 次のステップ：確認
ロール名を tr-serverless-relay-ZappaLambdaExecutionRole としてロール作成
ロールから tr-serverless-relay-ZappaLambdaExecutionRole 選択
信頼関係 タブ選択
信頼関係の編集 選択
- JSONファイルの編集
- "apigateway.amazonaws.com",　を追加

(編集前)

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "lambda.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

(編集後)

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "apigateway.amazonaws.com",
          "lambda.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

信頼ポリシーの更新

AWS Lambda にリレーモジュールデプロイ

リレーモジュール導入用ローカル環境のセットアップ (CentOS)

これでリレーモジュールを AWS Lambda に導入する準備が整いました。このステップにてリレーモジュール本体を導入できます。この作業のために Linux root 権限は必要としません。念の為、これまで行った各ステップを再度入念に確認しましょう。

Zappa コマンドにて AWS Lambda にアプリケーションを展開するための AWS IAM アカウント ID 環境を awscli を利用して設定します。

このステップは awscli を利用せず、以下のように指定ディレクトリに環境ファイルをマニュアルで作成することでも対応可能です。初期ステップにて作成した IAM ユーザのユーザ情報ファイル (.csv) から AWS アクセスキー、AWS シークレットアクセスキーを確認し aws コマンドで指定ます。

awscli

% aws configure
AWS Access Key ID [None]: XXXXXXXXXXXXXXXXXXXX
AWS Secret Access Key [None]: XXXXXXXXXXAi5VxZyEwK+G+E/+qTjuXXXXXXXXXX
Default region name [None]: ap-northeast-1
Default output format [None]: json

この結果、~/.aws ディレクトリ内に credentials ファイルと config ファイルが作成されます。以下はそのフォーマットです。

credential

~/.aws/redentials
　[default]
　aws_access_key_id=XXXXXXXXXXXXXXXXXXXX
　aws_secret_access_key=XXXXXXXXXXAi5VxZyEwK+G+E/+qTjuXXXXXXXXXX

config

~/.aws/config
　[profile serverless]
　region=ap-northeast-1
　output=json

リレーモジュールを導入

再度 python 3.7 以上であることを確認します。

python

% python3 --version

python 仮想環境をセットアップします。このコマンドを実行したディレクトリ配下に仮想環境用のテンポラリディレクトリが作成されます。このコマンドの実行は展開用リレーモジュールユーザのユーザディレクトリや、クローンしたモジュールのソースコード配下のディレクトリでも構いません。

python

% python3 -m venv venv

仮想環境をアクティベートします

python

% source venv/bin/activate

仮想環境にてpipをアップグレードします

pip

% pip install --upgrade pip

本体アプリケーションに必要なライブラリをインストールします。必要とするライブラリは導入するリレーモジュールによって異なります。このコマンドはソースコードをクローンしたディレクトリ内の requirements.txt を正しく指定する必要があります。

pip

% pip install --upgrade --requirement requirements.txt

いよいよリレーモジュールを導入します。これまでのステップを入念に再度確認します。以下のコマンドは、クローンしたソースコードのディレクトリ上で行う必要があります。

zappa

% zappa deploy dev

Calling deploy for stage dev..
Downloading and installing dependencies..
 - markupsafe==1.1.1: Downloading
100%|██████████████████████████████████████| 27.5k/27.5k [00:00<00:00, 12.9MB/s]
 - cryptography==3.3.1: Downloading
100%|██████████████████████████████████████| 2.66M/2.66M [00:00<00:00, 11.5MB/s]
 - cffi==1.14.4: Using locally cached manylinux wheel
Packaging project as zip.
Uploading tr-shodan-relay-dev-1607574935.zip (10.6MiB)..
100%|██████████████████████████████████████| 11.1M/11.1M [00:01<00:00, 9.00MB/s]
Uploading tr-shodan-relay-dev-template-1607574945.json (1.6KiB)..
100%|██████████████████████████████████████| 1.66k/1.66k [00:00<00:00, 19.2kB/s]
Waiting for stack tr-shodan-relay-dev to create (this can take a bit)..
100%|████████████████████████████████████████████| 4/4 [00:15<00:00,  3.90s/res]
Deploying API Gateway..
Deployment complete!: https://xxxxxxxxxx.execute-api.ap-northeast-1.amazonaws.com/dev

エラー無くデプロイが完了すると、最後のzappaコマンドのステータスにAWA Lambda API GatewayのURLが出力されますので、これを保存します。

上記 Zappa でのアプリケーションデプロイは、以下リンクの動画のような流れで行われます。
Zappa - Serverless Python

デプロイエラーが出る場合は、これまでの導入ステップを再度確認し、トラブルシューティングを行います。以下リンクの情報を是非確認ください。

リレーモジュールのステータス確認

AWS Lambda に導入されたリレーモジュールのステータスを確認します。

AWS コンソールにログイン
コンソールホームから ”Lambda” を検索

デプロイに成功したリレーモジュール "tr-shodan-relay-dev" のLambda関数が確認できます。

Cisco SecureX へのリレーモジュール組み込み

最終フェーズです。Shodan.io のリレーモジュールは Cisco SecureX Integration ページから API Gateway のURL 指定のみで統合が完了します。

2020/12/12 に Cisco SecureX はVersion 1.6.2 にバージョンアップされ、連携できる製品が大幅に増えました。Shodan.io と同様の連携ステップでその他のリレーモジュールを展開してみます。

動作確認

Cisco SecureX Ribbon から Threat Response にて調査用のIOCを投入します。JP CERT、Cisco Talos Blog 等、ランサムウェアなどの任意のIOC情報をいくつか投入して確認します。

統合に成功したリレーモジュールからのエンリッチメントが確認できます。

おまけ

この機会に現時点で手軽に導入できるだけのリレーモジュールを展開してみました。

合計10以上のアプリケーションを AWS Lambda 上に組み込み、毎日リクエストして使いながら時間が経ちました。AWS Lambda の利用は、EC2で稼働させる定常的にCPUリソースを消費するインスタンスと異なり、実行時（リクエスト時）のみのリソース消費で課金がされます。

AWS Lambda 料金

100 万件リクエストに対して 0.20USD の課金となるとのこと、10個以上のモジュールをデプロイした私の今月の AWS への請求額は 4円程度となりました。非常に格安ですね！

参照

[0] Cisco SecureX
http://security.cisco.com
[1] SecureX Shodan Relay
https://github.com/CiscoSecurity/tr-05-serverless-shodan#shodan-relay-api
[2] Zappa
https://github.com/Miserlou/Zappa
[3] Cisco Security API
https://github.com/CiscoSecurity
[4] Cisco Threat Intel Model (CTIM)
https://github.com/threatgrid/ctim
[5] Cisco SecureX threat response: Integrations and Partners
https://www.cisco.com/c/en/us/products/security/threat-response/partners-integrations.html#~technology-partner-ecosystem
[6] AWS HOWTO
https://github.com/CiscoSecurity/tr-05-serverless-shodan/blob/develop/aws/HOWTO.md
[7] untitled (required permission for deploying AWS Lambda)
https://github.com/Miserlou/Zappa/blob/master/example/policy/deploy.json
[8] Zappa throws AccessDenied exception while attempting to upload zip to S3 while AWS CLI can upload files with same profile
https://github.com/Miserlou/Zappa/issues/1972
[9] JSON Web Token (JWT)
https://en.wikipedia.org/wiki/JSON_Web_Token
[10] AWS Lambda 料金
https://aws.amazon.com/jp/lambda/pricing/