PyYAMLでYAMLに埋め込まれた環境変数をロード時に展開する
この記事はPython3 Advent Calendar 2020の20日目の記事です。 はじめに コンテナなどを使っているとYAMLファイルに環境変数を埋め込んでロード時に展開したくなることが...
1
4
Comment0
32 search resultsShowing 1~20 results
Stocked
You need to log-in
NVMe SSDを持つEC2インスタンスで起動時に自動でインスタンスストアのディスクをマウントさせる
あらすじ この記事はAWS Advent Calendar 2020の10日目の記事です。 c5d系やi3などのインスタンスにはNVMeで接続したSSDのインスタンスストアがつきます。このNVM...
6
2
Comment0
Terraformのjsonencode関数にはJSONを入れても動くよ
※この記事はTerraform v0.12系で検証してます。 はじめに まずはこちらをご覧ください。AssumeRoleを定義したこのコード、assume_role_policyにはjsonen...
26
12
Comment0
bin/upgradeで管理しているRedashインスタンスをv8.0.0に無理やり上げる
あらすじ RedashはV8からDockerによるデプロイのみをアップグレード対象とするようになりbin/upgradeコマンドによる昔ながらのアップグレードができなくなりました。 なのでこのタ...
3
3
Comment0
Amazon RDSプロキシって？Lambdaじゃなくても効果ある？フェイルオーバー早くなるって本当？
いかがでしたかブログ風のタイトルですが、調べてみたがわかりませんでしたというオチでは無いのでご安心下さい。 はじめに re:Invent2019でAmazon RDSプロキシが発表されました。発...
11
7
Comment0
Terraformでエディタに怒られずにJSONをテンプレート化する
はじめに Terraformのリソースの引数にJSONを渡す、というのはよくあるシチュエーションだと思います。AWSを使用してしる場合は特に。 また、引数として渡すJSONのパラメータの一部をテ...
10
6
Comment0
SlackワークフロービルダーでAWS Chatbotのコマンドをテンプレ化する
この記事はSpeee Advent Calendar 2019 2日目の記事です。 あらすじ 2019/11/25にAWS ChatbotでSlack上からAWSコマンドを実行できる機能がbet...
14
6
Comment0
AWS Configを駆使して使っていないSecurity Groupをお掃除する
この記事はSpeee Advent Calendar 2019 1日目の記事です。 あらすじ 長い間AWSアカウントを運用していると、様々な理由で不要なリソースというものが生まれます。 長く運用...
6
3
Comment1
インフラエンジニアと謎のサーバ
この記事は闇の魔術に対する防衛術 Advent Calendar 2018の6日目の記事です。 あらすじ この世には歴史的経緯により何が動いているか分からない謎のサーバというものが存在する。 謎...
1289
817
Comment13
DynamoDBへのバッチ書き込みをSQSとLambdaを使ってサーバレスに実現する
この記事はServerless Advent Calendar 2018の7日目の記事です。 あらすじ S3に出力したJSONファイルをもとにDynamoDBのデータをバッチ的に更新する仕組みを...
12
9
Comment0
AWS GlueのPython Shellジョブを使ってGlue Crawlerを呼ぶ
はじめに つい先日、AWS GlueにPython Shellというジョブのタイプが追加がされました。 https://aws.amazon.com/jp/about-aws/whats-new...
11
7
Comment3
pyarrowを使ってLambdaからS3のparquetファイルを読む
あらすじ この記事はMobingi Advent Calendar 2018の17日目の記事です。 Lambda Layerのおかげで重めのライブラリをLambdaで使うことが簡単になりました。...
7
7
Comment0
PySparkで書き込むファイル数をいい感じにする方法
はじめに この記事はMobingi Advent Calendar 2018の12日目の記事です。 やりたかったこと csvをparquetに変換する処理をAWS GlueのPython（ほぼP...
5
4
Comment0
複数のDockerイメージを単一リポジトリで管理する
この記事はDocker Advent Calendar 2018の10日目の記事です。 はじめに インフラチームとして提供する共通利用のDockerfileはDockerfileごとにリポジトリ...
14
13
Comment0
Lambda Layerを使ってAWS LambdaのCPU使用率を計測する
はじめに lambdaでは通常CPU使用率を気にする必要はありませんが、パフォーマンスチューニングをして実行時間を短くしようとした際に、処理のボトルネックがIOなのかCPUなのか知りたいと思うケ...
10
6
Comment1
AthenaのCTAS (CREATE TABLE AS SELECT) でETLをするTips
はじめに この記事はAWS Advent Calendar 2018の3日目の記事です。 今年の10月にAthenaがCTAS(CREATE TABLE AS SELECT)をサポートしました。...
34
25
Comment0
AWS Athenaで結果を強引にJSONで受け取る方法
追記 微妙に最新の情報を見逃していてAthenaはCTAS（CREATE TABLE AS）をサポートできるようになってたらしいです。 https://dev.classmethod.jp/cl...
6
3
Comment0
kubernetes1.7でkubectl applyでinit containerを再作成する
はじめに kubernetesにはinit containerという機能があります。init containerはpodの起動前に実行されるコンテナを定義することができ、例えばpodの作成前にa...
5
2
Comment0
PrometheusのサービスディスカバリをetcdとCoreDNSで実現する
はじめに この記事はprometheus Advent Calendar 2017の21日目の記事です。23日に投稿していますが。。。 監視対象の追加はサービスティスカバリ(sd)によって、動的...
11
9
Comment0
dockerをbuildする際のMakefile
はじめに この記事はMicroAd Advent Calendar 2017の21日目の記事です。 個人用でDockerイメージをビルドする場合はdockerhubに連携すればチョロで終わるんで...
18
9
Comment0
32 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles