boto3からaws-sdk-goにしただけでCPU使用率が75%->10%になった #AWS

概要

社内の ZABBIX server の CPU 使用率が高くなってきたので、最小工数で解決したい
CloudWatch からメトリクスを取得するスクリプトが python(boto3) で書かれてる
とりあえずこのスクリプトを go(aws-sdk-go) に書き換える

CPU 使用率が 75% から 10% に下がった。

結論

簡単なスクリプトがボトルネックになってそうなら、go で書き換えれば良いと思いました。

以下詳細　

弊社のメトリクスの取得方法

プロジェクト毎に ZABBIX proxy を立て、proxy 経由で ZABBIX server が各メトリクスを取得・保存
1 で取得できないものは、ZABBIX server が全プロジェクト分 CloudWatch api で取得

CloudWatch でのメトリクス取得について

1回の api で取得しているのは、1インスタンスの 1メトリック
api は基本的に 300秒に 1回、CPU 使用率のような細くほしいものは 60秒に 1回
RDS であれば、1インスタンスあたり10個ほどのメトリクスを取得している
Python boto3 で書かれていた

go で書き換えるに当たって

最小工数でいくために ZABBIX の設定を変えなくても済むよう、引数と出力を python スクリプトと同じにする
最低限の開発環境は整える(外部パッケージのバージョン管理とか)

以下 go に関すること

	version
go	1.6.2
aws-sdk-go	1.4.15

ディレクトリ構成は以下のような構成で

├── Gomfile
├── Makefile
├── README.md
├── aws.go
├── bin
│   └── cloudwatch_metrics
├── main.go
└── vendor
    ├── bin
    ├── github.com
    └── pkg

パッケージ管理はシンプルなもので良かったので、https://github.com/mattn/gom を使用
1 回のコマンド実行で 1 度しか api が実行されないので、service の使い回しとかも考えない
関数は全部で 4 つ
- init
- main
- createCloudWatchService
- getMetrics
config ファイルを指定する必要があったが、1.4.15 では環境変数 "AWS_CONFIG_FILE" にファイルパスを設定しなくてはならず、サーバー側の変更を最小限にしたかったので、コマンド内で環境変数を設定することにした

// サーバー側の変更を最小限にしたかったので、コマンド内で環境変数を設定
if err := os.Setenv("AWS_CONFIG_FILE", credentialFilePath); err != nil {
    return nil, fmt.Errorf("AWS_CONFIG_FILE could not be set, %s", err)
}

// credential ファイルパスはここで設定できる
creds := credentials.NewSharedCredentials(credentialFilePath, *profile)
conf := aws.NewConfig().WithCredentials(creds)

s, err := session.NewSessionWithOptions(
    session.Options{
        Config:            *conf,
        Profile:           *profile,
        SharedConfigState: session.SharedConfigEnable,
    },
)

後は公式ドキュメント・サンプル通り、CloudWatch service インスタンス作って、Input インスタンス作って、GetMetricStatistics するだけ

以上