Kafka StreamsのWindowStateStoreを利用した集計処理で未来のタイムスタンプを扱う際の危険な罠
Kafka StreamsにはWindow Aggregationという仕組みがある。 特定の時間間隔毎にイベントの数を数えたり等を行うための機能だ。 で、それを利用してユーザー毎のイベント実行...
7
1
Comment0
106 search resultsShowing 1~20 results
Stocked
You need to log-in
NLBでfluentdのforwardパケットを分散させてみた
AWSの新しいロードバランサであるNLB(Network Load Balancer)を使ってfluentdのforwardパケットを分散してみたので、レポートをまとめておく。 NLB自体につい...
43
23
Comment0
RubyでYAMLを拡張する方法と、外部ファイルのincludeに対応させる実例
設定ファイルとしてYAMLを扱うことが多いため、yamlを便利に扱うためにyaml_vaultとyaml_masterというgemを作っている。 yaml_vaultはYAMLの特定キーを暗号化...
28
13
Comment0
サービスドメインに組込むためのジョブスケジューラ crono_trigger を作った
ある時間になったらジョブを起動するスケジューラを実装したgemは、世の中に色々とあります。 javan/whenever: Cron jobs in Ruby adamwiggins/clock...
18
10
Comment0
[小ネタ] 最近使っているvimからdockerコンテナ内でテストする方法
最近はneovimを使っている。neovim-qtが割と安定していて良い。 neotermとvim-testでテストを実行する。 direnv等で、プロジェクト毎に環境変数を指定し環境変数でコン...
12
9
Comment0
terraformで開発者個人別に自由にECSにコンテナをデプロイできる開発環境を用意する
できるだけproductionに近い状態でAWSの各コンポーネントと通信したり、DBのデータを取得できる環境で、アプリケーションの動作確認をしたいことがある。 共有の開発者用のステージング環境等...
30
16
Comment0
「Docker時代の分散RSpec環境の作り方」の補足
この記事は、大江戸Ruby会議06で発表した Docker時代の分散RSpec環境の作り方 // Speaker Deck の補足です。 何人かに質問されたことや、良いことばかりじゃなくて現状存...
20
18
Comment1
開発しやすいRails on Docker環境の作り方
最近、Rails界隈でDocker使い始めました、という話を聞く機会が増えてきたので、自分が開発環境整備用に構築したDockerの設定をまとめておく。 ちなみに、production運用について...
870
858
Comment0
AmazonのECS optimized AMIでdockerコンテナのBaseSizeを変更する
ECS optimized AMIはAmazon LinuxでDockerを動かす様になっている。 Amazon LinuxのDockerはデフォルトでdevice mapperをストレージのバ...
9
5
Comment0
RSpecのフォーマッターの出力結果を任意のデータストアに保存できるgem rspec-storageを作った
最近、手元でRSpecを全部流すなんてことはあんまり無くなってきた。 CIサービス上で結果は確認できても、色々情報を収集したり加工したりしたい場合ローカルのファイルシステムに吐くより、S3とかG...
11
5
Comment0
Dockerコンテナ上でのassets precompileの扱い 2017
基本的にassetsファイル系はクラウドなりCDNに上げてるはずで、dockerイメージの中にそんなものを含めたくはないわけですよ。 しかし、未だにsprocketsという世界から抜け出ることは...
32
15
Comment0
俺が悪かった。素直に間違いを認めるから、もうサービスクラスとか作るのは止めてくれ
ちなみに、最初に結論だけ言っておくと、まずSandi Metzの「オブジェクト指向設計実践ガイド」を読め、という話です それだけで終わってしまいたい気持ちはあるが、不親切過ぎるしもうちょっとRa...
1250
978
Comment0
BigqueryのAVROフォーマットエクスポートをembulk-parser-avroで活用する
Bigqueryはしばらく前から、AVROフォーマットでデータをエクスポートできるようになっています。 AVROフォーマットは、Apacheプロジェクトの一つとして開発されているシリアライズフォ...
25
12
Comment0
dockerコンテナ内に無理やりzshの設定を突っ込むメモ
スマートな方法が思い付かなかったのでシェルスクリプトでラップするという雜な手段を取った。 # !/bin/zsh set -e container_name="container_app_1" ...
5
3
Comment0
Rails4.2でArelを元にORクエリを作ろうとすると死ぬ問題の解決策
2014/11/12時点での話で、これからどうなるか分からないのですが、現時点のrails-4.2.0.beta4では、Arelを使ったORクエリの構築を今までと同じ感覚で実行するとNoMeth...
134
125
Comment4
ECSのクラスタを安全に縮退する
あんまりEC2ノードごと増やしたり減らしたりってのは、やらないで済むに越したことはないんですが、お金に限りがある世界では、無駄に何十台もサーバー立ててられないので、適宜減らしたりしたいわけです。...
16
13
Comment0
サクっとAmazon ECSのクラスタを構築するためのterraformの設定
Amazon ECSはコンテナの管理をしてくれるサービスという体になってますが、実際には普通のEC2インスタンスの上で動作します。 コンピューティングリソースは、基本的にEC2のAuto Sca...
28
26
Comment0
AWS Key Management Serviceを使ってconfigファイルを暗号化すると便利
以前、yaml_vault というyamlで書いた設定ファイルを暗号化するgemを作りました。 そのyaml_vaultでAWS KMSを利用した暗号化をサポートしました。 AWS KMSで作っ...
49
39
Comment0
[小ネタ] Rubyのキーワード引数で受け取った値をHashとしてまとめて取得するgem
最近、仕事が忙しくて、小物のgemを作るというoutputが無かったので、思い付いたものを無理矢理形にしてみた。 タイトル通りで、キーワード引数で受け取った値をHashとしてまとめて取得するge...
8
8
Comment0
AWSのEMRでembulkのmapreduce executorを実行するメモ
EMRでembulkのmapreduce executorを動かすまでに割と苦労したのでメモっておく。 そもそもあんまHadoopエコシステムに詳しくないし、Javaにも詳しくない。 そして、余...
14
9
Comment2
106 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles