6
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

HTTPSでembulk-output-s3するには

Last updated at Posted at 2015-10-22

HTTPSでembulk-output-s3するための記事です。

やりかた

httpsで始まるAmazon S3のエンドポイントURLを、endpoint項目で指定します。かんたん。

out設定部分の抜粋
out:
  type: s3
  path_prefix: logs/
  file_ext: .json
  bucket: S3 bucket name
  endpoint: https://s3*********** ← これ
  access_key_id: 秘密
  secret_access_key: 秘密
  formatter:
    type: csv

エンドポイントURLやサポートプロトコルはAmazon Simple Storage Service(S3)で確認できます。

こんな人に

  • HTTPSでS3にアップロードしたいんだけど、どう設定書いたらいいのだろうか
  • embulk-output-s3のConfigurationを見てもイマイチわからない。endpoint項目を使えばいいの?
  • embulk-input-s3embulk-output-s3もendpoint項目の説明がendpoint: S3 endpoint login user nameでよくわからない。login user nameってなんだ?

ちなみに-その1

Amazon S3のよくある質問によると、

HTTPS プロトコルを使用して SSL エンドポイント経由で、Amazon S3 にデータを安全にアップロード/ダウンロードすることができます。

とのことで、S3はHTTPSもOKです。

本当にHTTPSで通信しているのか確認

lsofコマンドでウォッチしてみます。
まずはembulk実行前の状態です。
waiting.png
静かなもんです。

次に、実際にembulkを動かしてみます。
established.png
httpsなESTABLISHEDが出てきました。

ちなみに-その2

AmazonS3Client s3 = new AmazonS3Client(awsCredentials);
	s3.setEndpoint("https://s3-ap-northeast-1.amazonaws.com");
  • なるほど、setEndpointメソッドでhttpsなURLをセットしています
  • それならendpoint項目を使うということで多分間違いなさそう

以上です。

6
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
6
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?