Digdagスケジューラの概要と動作確認
図などは公式サイトから引用 https://docs.digdag.io/architecture.html Digdagとは Digdagは複雑なパイプラインのタスクを実行、スケジュール、モニ...
32
29
Comment0
81 search resultsShowing 1~20 results
Stocked
You need to log-in
Docker イメージの働き
以下のサイトがオリジナルであり、実際に実行しながら試した際のメモである。 http://docs.docker.com/userguide/dockerimages/ これまでは Docker ...
87
124
Comment1
GCP Service Accountを理解する
サービスアカウントは個人ではなくアプリケーションやVMに属する特別なアカウント。サービスアカウントは0以上のサービスアカウントのキーペアを持ち、Googleの認証に使用する。 サービスアカウント...
272
186
Comment0
GCPで簡単にHPCクラスタを構築する (Part 1)
ハイパフォーマンスコンピューティング（HPC）は創薬や金融サービス、気象予測など、様々な分野で利用されています。HPCと聞くと利用や構築するための敷居が高いというイメージを持つ方もおられるかもし...
4
2
Comment0
Cloud TPUの使いどころガイドライン
TPUもリリースされ、CPU, GPU, TPUをどういった時に、何を基準に使い分ければよいのかと思っていたら、以下に記載されていることだったのでメモ。 https://cloud.google...
12
8
Comment0
Compute EngineでIntel® Performance Librariesが無料で利用できるようになったので試してみた
以下のブログポストでIntel Performance Librariesが無料で利用できるようになった旨のアナウンスがあったので、どのようにして利用できるか試してみた。 https://clo...
0
1
Comment0
BigQueryでセキュリティ関連の機能が追加
2017年12月4日にBigQueryに機能が追加されました。 この投稿は下記ページのメモです。 https://cloud.google.com/blog/big-data/2017/12/f...
4
3
Comment0
Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする
Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境：GCP CloudShell digdag version: 0.9.5 digdag...
7
1
Comment0
GCPベンチマーク#1 GCE インスタンス間の通信
GCPのインスタンス間のネットワーク速度を計測するために、PerfkitBenchmarkerを使用する。PerfKitbenchmarkerにはiperfなどのベンチマークツールが含まれており...
1
1
Comment0
GCPサービスアカウントの鍵を安全に管理する
以下の記事のメモ。 https://cloudplatform.googleblog.com/2017/07/help-keep-your-Google-Cloud-service-accoun...
13
10
Comment0
BigQueryストリーミングインサートの仕組み
以下の記事のメモ。図はオリジナルのサイトから引用。 Streaming Insertのダイアグラム コンポーネント 概要 Streaming data producers BigQueryへス...
21
14
Comment0
BigQueryのバッチデータ投入の特徴
下記記事のメモ。画像はリンク先から参照。 https://medium.com/google-cloud/paying-it-forward-how-bigquerys-data-ingest-...
0
0
Comment0
BigQueryの12のコンポーネント
下記のメモ。図は下記URLのものを引用。 https://medium.com/google-cloud/the-12-components-of-google-bigquery-c2b4982...
13
10
Comment0
GKE本番環境へ向けた準備のベストプラクティス
以下のメモ。図なども以下のサイトから引用。 https://cloud.google.com/solutions/prep-container-engine-for-prod?hl=ja#com...
50
45
Comment2
DigdagとApache AirflowのGCPサポート比較
ワークフローツールであるDigdagとApache AirflowのGCP向けに提供されているオペレータについてざっくりまとめてみた。 Digdag 今のところGCSとBigQueryに対応 h...
9
10
Comment0
Dataflowとサービスアカウント
Dataflowを実行するときには、以下３つのサービスアカウントが必要である。 Service Account 備考 Cloudservices Account 入力サイズの決定、Google ...
1
4
Comment0
Digdagを使って定期的にBigQueryへクエリを投げる
digdagのスケジュール実行機能を使って毎日1回、BigQueryへクエリを投げることを実現することを試みる。 環境 digdag:0.9.12 java:1.8.0_131 ローカルモードで...
7
1
Comment4
GCPのセキュリティ
GCPのセキュリティについて調べたので、その概要を記載。 1.暗号化 1.1. データの暗号化 Google Cloud Platform はデータを保存する際にデフォルトで暗号化する。データは...
22
19
Comment0
GCPの障害情報をSlack通知する
GCPを利用したシステムを運用している場合、GCPの障害にいち早く気付きたい。 そこでSlackをRSS Readerとして、GCPのステータスを通知できるようにする。 手順は以下のサイトでFe...
5
6
Comment0
GCSのPubSub通知対応を試してみる
以下の記事に記載されているGCSのPuSubサポートを試してみたときのメモ。 設定は以下のコマンドを実行し、オブジェクトの変更通知を行いたいバケットを設定する。 $ gsutil notific...
1
2
Comment0
81 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles