BigQueryでカンマ区切り文字列項目の中の値が重複してたら抽出しない方法
はじめに BigQueryの項目で区切り文字のある値が入った項目を SPLITで配列にする方法は有名ですね。こんな感じの。 WITH id_table AS ( SELECT '111,112,...
5
0
Comment0
15 search resultsShowing 1~15 results
Stocked
You need to log-in
SpreadSheet x BigQuery 外部テーブル参照型エラー事件(date編)
はじめに これはSpreadSheetをBigQueryから外部テーブル参照した時に 安直にSpreadSheetを触って、それが起因でどん詰まったお話です。 ほぼSpreadSheetの話なの...
1
0
Comment0
ERROR関数を使ったBigQueryデータ異常検知例
はじめに DBのデータ異常検知というと、検知したいデータを抽出して それをDB以外の何かしらの処理で判定するイメージですが BigQueryにはERROR関数という関数でも検知できるのでご紹介し...
10
2
Comment0
BigQuery移行で学んだクエリコスト削減Tips
はじめに こちらのブログの小話です。 とあるオンプレDWHからBigQuery用にクエリを移行しました。 つまり、クエリの実行コストが高いとお金のコストもかかる領域にお引越しました。 その時Bi...
4
0
Comment1
BigQueryにサブクエリのエイリアスを優先されてorder byがエラーになった話
はじめに とある別DBのSQLをBigQueryで実行した時のこと。 最初からBigQueryで書く場合は、凡ミスとしてすぐ気づき、この事象に悩むことはないかもしれません。 が、今回のように別D...
2
0
Comment0
Digdagの画面上部のヘッダの色を変えるChrome拡張機能(ローカル)
はじめに Digdagの開発中に誤って本番環境のワークフローをRUNしないよう、 Digdag画面上部のヘッダの色を変えるChrome拡張機能を作ったので、 簡単ですが作り方を紹介します。 今回...
1
1
Comment0
Kotlinのsplitを使って複数クエリのSQLファイルを実行する方法
前回に引き続きKotlinでsqlファイルを実行する実装を模索しています。 またしても学びごとがあったので記しておきます。 こちらの続きでSpringBootを利用しています。 利用してるgra...
1
0
Comment0
KotlinとJdbcTemplateを使ってSQLファイルを実行
はじめに ある日データの中身をチェックするクエリを作っていました。 事情によりこのクエリたちを何度も実行してたので、実行結果を楽々に判定したいという経緯から作ったものをしたためておきます。 ※動...
2
0
Comment2
circleciのjob結果をslack通知する方法(slack-orb v4版)
はじめに circleciからslack-orbのversion4以降を使ったslack通知方法の記事が見つからず、公式もわかりにくかったので備忘録かねて記載。 設定方法 基本的に公式のwiki...
9
5
Comment0
Code With Meの紹介 & VSCode Live Shareと比較してみた
はじめに IntelliJ IDEA 2020.3が12月にリリースされました。 2020.2からβ版がプラグインインストールできるようになり、2020.3から標準同梱されたペア・モブプロ用ツー...
8
1
Comment0
AWSの画像認識API Rekognitionをちょっと試してみた(手書きテキスト編)
概要 テキスト検出ができるということで、 主に手書きのいろいろな画像を試して出力結果をみてみる。 基本実装 こんな感じ。S3の配置や準備については前回の記事( https://qiita.com...
2
3
Comment0
オープンソースにPull Requestするメリット
概要 PlayFrameworkというオープンソースに小さなPull Requestを出した時の話。 オープンソースにPull Requestするメリットが大きかった為記載する。 Pull Re...
12
8
Comment2
AWSの画像認識API Rekognitionをちょっと試してみた(awsコマンドとPython版)
awsのS3はこんなかんじです。 では画像認識してみよう。 準備 ・awsコマンドが打てるようにaws-shellをインストール ・python上でaws接続できるようにboto3をインストール...
2
1
Comment0
Pythonの辞書機能だけでcsvからユニークデータ抽出してみた。
データ準備 こんなcsvがあるとする ※フィクション。類似名で実際に存在するキャラクターとは一切関係ない。 cat profile.csv No, 作品, 作品_出典元, 名前, 名前_種類, ...
4
4
Comment0
単体テストを呼吸するように治そう(Apexトリガー編)
まえおき Saleforceには75%以上カバレッジがないとクラスをデプロイできないという規約がある。 素晴らしい規約。だが単体テストを"カバレッジを通すため"に実装する 様々な禁忌が犯されてい...
1
2
Comment0
15 search resultsShowing 1~15 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles