flockでshellの多重起動を防止する仕組みについて考えてみた
Linuxサーバ上で定期実行だったり、多くの人が実行する可能性があるshellの多重起動を防止するための仕組みはサービスを運用していると割と遭遇しました。 その方法の一つであるflockを使った...
18
17
Comment0
32 search resultsShowing 1~20 results
Stocked
You need to log-in
TerraformでCloud Run jobsを構成してスケール可能なバッチ処理を簡単に作る
株式会社Nateeの中坊です。 4月頃にGAになったCloud Run jobsを使ってスケール可能なバッチ処理を作る方法を紹介します。 Cloud Run jobs Cloud Run job...
3
2
Comment0
コネクテッドシートのヘッダは日本語にできる
コネクテッドシートとは BigQueryのViewやテーブルの内容をそのままスプレッドシートに同期するコネクテッドシートという機能があって、ローデータを共有する際に有用なのでよく使っています。 ...
2
1
Comment0
Dataformで管理している実テーブルをDigdag経由で定期更新する
実現したいこと BigQuery上に蓄積したデータを使って何かしらの集計データをテーブルに格納する時に Dataformでテーブルに入れるデータの集計ロジックをコードで管理しつつ、定期更新できる...
1
0
Comment0
BigQueryでQUALIFYを使う時の注意点
QUALIFY BigQueryで利用可能なSQL記法の一つに「QUALIFY」というものがあります。 これはWHERE句とは異なり、ウィンドウ関数で結果を絞り込むことができるため便利なシーンが...
5
1
Comment0
Digdagで長時間実行中の処理をチェックする仕組み
アプリケーションで利用したデータを分析やマーケティングに活用するために、Digdagで分析用データベースに転送する処理を定期実行しています。その処理が期待した時間以内に終わらなかったことを検知す...
9
6
Comment0
Git for Windowsでautocrlfの設定を間違えちゃった時の対応
この記事は ZOZOテクノロジーズ #5 Advent Calendar 2019 16日目の記事です。 昨日は @meganekids さんによる「エンジニアとプロジェクトマネージャー向けのA...
40
36
Comment0
Windowsなチームの中でMacを使うときに必要な知識
最近新卒にスマブラでタイマンを挑んでは負けを繰り返している中途入社エンジニアの @e_tyubo です。 この記事は ZOZOテクノロジーズ #1 Advent Calendar 2019 10...
49
32
Comment0
JUnitでMockWebServerを使ってリクエスト送受信ロジックのテスト
Javaアプリケーションに外部APIを使った機能を実装する機会があったのでその時の話を。 やりたいこと リクエスト送受信処理を新たに実装した場合、固定レスポンスで期待した動作をするのか確かめたい...
7
3
Comment0
gitで管理しているエクセルファイルの差分を確認する
gitで管理しているエクセルファイルに修正が入った時に、確認するのが面倒だなーと思った時の話です。 やりたいこと エクセルファイルのセルの内容だけを差分比較するためにcsvファイルに変換してma...
4
2
Comment0
Embulkでliquidテンプレート内でincludeするときの注意点
Embulkの設定ファイルはliquidというテンプレートエンジンがデフォルトで使えます。 liquidの構文の中に includeというものがあり、liquidファイルから別のliquidファ...
7
4
Comment11
Digdag + Embulkで並列数をdigファイルだけで制御する
Embulkでデータ転送処理を複数定義していると並列処理を使うと思いますが、同時接続数の都合やメモリの上限で全てを同時に動かすことが現実的ではない事があります。対策として、PythonやRuby...
11
6
Comment0
sedで正規表現と置換
Macのターミナルでsedを使って置換する事はよくありますが、正規表現でパターンマッチした値を置換後の値に引き継いで使う方法をやったことがなかったのでメモ。 sedで正規表現 sedの正規表現に...
2
1
Comment0
swagger-uiでAPIを叩いて結果をjsonで見る
ローカルで開発中にUI上からAPIを実行して結果をjson形式で見たいと思ってLaravelプロジェクトで実現した件をまとめておきます。 Laravelは5.5を使っています。 最終的にはこうい...
12
16
Comment0
rsyncのオプション
rsyncコマンドを使ったファイル転送スクリプトを作った時のメモ 文法 いくつかパターンがありますが、基本的にはコピー元(SRC)とコピー先(DEST)を指定すればファイルを転送してくれます。リ...
4
0
Comment0
シェルスクリプトでbooleanを使う
シェルスクリプトでもtrueとfalseが使えることを知ったのでメモ。 それぞれexit statusを０と1で返す性質があります。 # !/bin/bash true echo $? # = ...
8
3
Comment0
AWSでhttps化
AWS上で動いてるシンプルなWebアプリケーションをhttps化させたのでその手順を残しておきます。 構成図 目指すインフラ構成は下図のとおりです。 RDSは今回直接的に関係ないです。 必要な手...
40
42
Comment0
CloudFormationでLaravel5.5が動く環境をEC2(Ubuntu18.04)上に作ったときのまとめ
GWだったので趣味で開発してるLaravelプロジェクトをEC2で動かすために必要な環境をCloudFormationで立ててみました。その時に必要となった知識をまとめておきます。 必要な環境 ...
3
5
Comment0
Sentryを使ってエラー監視
新しい話題ではないですが、エラーログのトラッキングサービスにSentryというものがあるので使ってみました。導入手順をまとめておきます。 環境 Laravel5.5 Sentryの仕組み Sen...
8
6
Comment0
capistrano3でデプロイ時にslack通知する
趣味でやってるアプリ開発でcapistrano3でデプロイ実行時にslack通知を導入した際の備忘録です。 実現したいこと 自分ひとりでやってたらコンソールのログを見ていたら良いのですが、チーム...
8
3
Comment0
32 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles