経緯

EC2上に建てたkubernetesのログをEC2インスタンスの外に保存したかった時のお話。
EKSやGKEを使えばそのへんサクッと出来るみたいですが、今回はそれらを利用しない前提です。
半分くらいポリシーとロールの作成方法の説明になってしまいましたが、備忘録として載せておきます。

手順

ない場合は作成しておく

保存先のS3を操作するためのIAMロール。
既に使えそうなロールがある場合はそれを利用しても良い。
ない場合は [IAMロールの割り当て/置換] から作成出来る。

バケットとディレクトリを指定すると、その内容を同期してくれる超便利コマンド。
指定のディレクトリとバケットの内容を比較し、バケットにないもののみアップロードしてくれます。
指定の同期先からデータが消えたとしても、S3上のオブジェクトは削除されないので安心。

今回はこれをcronで定期実行することで、EC2上のログをS3にアップロードします。

aws s3 sync が使えることが確認出来たら、あとはこれをcronに定期実行させるだけです。

*/1 * * * * /bin/bash -c ". /ホームディレクトリ/.bash_profile; 成功したawsコマンド"

今回は1分置きの設定。
最初に .bash_profile を読み込んでいるのはパスの設定を反映させるため。
awsコマンドを絶対パスで書くでも良かったかもしれない。

cronの実行ログを確認したい場合は、 crontab -e で開いた設定の末尾にこいつを書く。

> /ログの出力先 2>&1