セマンティックレイヤってなんなのをBigQueryで確認する
はじめに 「セマンティックレイヤ（Semantic Layer）」という言葉を最近よく聞く。 「指標の一元管理ができる」「ビジネスユーザーが迷わない」といったメリットはよく語られるが、「で、結局...
8
1
Comment0
24 search resultsShowing 1~20 results
Stocked
You need to log-in
【最小構成】BigQuery × Cloud Functions（第2世代）× OIDC(STS) で AWS IAM を収集して保存
1. 目的 マルチクラウド環境では、各クラウドに散らばるアカウントやリソースを一元的に管理・監査するニーズがある。 特にAWSのIAMユーザーやクレデンシャルはセキュリティ上の重要な監視対象だが...
1
0
Comment0
メタデータの有無でGemini in BigQueryがどう変わるかを試した
はじめに 生成AIが流行っている昨今、「データ基盤においてメタデータを整備しよう」という話題も多々出ているが、じゃあ実際にどれくらい変わるの、を簡単に試してみた。 今回は、カラム名は同じだが、d...
0
0
Comment0
BigQuery でデータセット／テーブルの IAM タグを SQL 管理する
BigQuery に、データセットとテーブルへ付与する IAM タグ（Resource Manager Tag）を SQL から直接操作できる機能 が追加されました。（Release Note）...
0
0
Comment0
BigQuery 新機能（GROUP BY STRUCT, GROUP BY ARRAY, GROUP BY ALL）を試してみた
BigQuery 新機能を試してみた ― GROUP BY STRUCT / ARRAY と SELECT DISTINCT、そして GROUP BY ALL の使いどころ 2025 年 5 月...
0
0
Comment0
Google Cloud Pub/SubのBigQuery Subscriptionを使って、GCSからBigQueryへ通知＆連携してみた
はじめに BigQueryへのデータ連携パイプラインでGoogle Cloud Storage (GCS) を活用するケースは多い。 「どれだけのデータが連携されたか」「どのタイミングで連携され...
5
1
Comment0
BigQueryのRemote FunctionsでAPIから直接データを取得する
やりたいこと タイトルの通り。 動機 とあるAPIから取得できるデータ（ex. 実行ログとか）をBigQueryで分析できるようにしたい。 いままでは専用のジョブを作ったりしてたけど、そもそもB...
1
1
Comment0
Professional Cloud Network Engineerに合格した
Google Cloudの認定資格であるProfessional Cloud Network Engineerに挑戦し、無事合格できたのでその体験記を書きます。 ネットワーク周りは業務経験も薄め...
0
0
Comment0
Cloud Functions（HTTPトリガー）をローカルから呼び出す
背景 Cloud Functionsをデプロイしたあと、テスト実行したい。 そんなときにコマンド一発で実行できる方法があったのでこちらにメモとして記載する。 やりかた 前提として以下を想定 HT...
1
0
Comment0
bq-visualizerをローカルホストで起動する
概要 bq-visualizerをご存知でしょうか。 色々と記事があるので詳しくはそちらをご確認いただくとして、ざっくりいうとBigQueryのジョブの実行結果を見やすく加工してくれるツールです...
0
0
Comment0
LINE WorksにAPI経由でメッセージを投げる
概要 所属している組織ではLINE Worksを利用しています。PCからの利用ではIP制限がかかっているので、社外からのメッセージ送信はケータイでやるしかありません。 私はお客様先に常駐している...
4
4
Comment5
郵便受けに投函されたらSlack/LINEに通知してみた
概要 解決したい課題 マンションに住んでいるのですが、帰宅時の導線上に郵便受けがなく、部屋のドアを開けるまでにちょっと遠回りしないといけない構造になっており、郵便受けを開けに行くのをサボりがちな...
7
8
Comment0
BigQueryでワンライナーでDDLを生成する
概要 BigQueryに存在するテーブルのDDLが欲しいときってありませんか？僕はあります。 bqコマンドでスキーマ情報を取得できますが、JSON形式だったりで微妙に欲しい物と違う。 そんなとき...
0
1
Comment0
Google Cloud Functionsのログ出力（とハマったこと）
やりたいこと 言語：Python Google Cloud FunctionsでStack Driver Loggingにログを出力したい。 ドキュメントを見ると print でやれって書いてあ...
6
5
Comment0
デザインパターンについて勉強してみた（個人的メモ）その８（Proxyパターン、Commandパターン、Interpreterパターン）
はじめに この記事は個人的な勉強メモです。inputしたものはoutputしなくてはという強迫観念に駆られて記事を書いています。 あわよくば詳しい人に誤りの指摘やアドバイスを頂ければいいなという...
0
1
Comment0
GoogleCloudFunctionsのデプロイでハマった（'ascii' codec can't encode character u'\u281b' in position 58 が出る）
概要 GCPのCloudFunctionsをローカルからデプロイしようとしたらうまくいかなかった 試行錯誤の末にうまくいくようになったので、検証経緯と解決策をメモる 似たようなエラーにハマった方...
0
1
Comment0
デザインパターンについて勉強してみた（個人的メモ）その７（Observerパターン、Mementoパターン、Stateパターン、Flyweightパターン）
はじめに この記事は個人的な勉強メモです。inputしたものはoutputしなくてはという強迫観念に駆られて記事を書いています。 あわよくば詳しい人に誤りの指摘やアドバイスを頂ければいいなという...
0
1
Comment0
デザインパターンについて勉強してみた（個人的メモ）その６（Chain of Responsibilityパターン、Facadeパターン、Mediatorパターン）
はじめに この記事は個人的な勉強メモです。inputしたものはoutputしなくてはという強迫観念に駆られて記事を書いています。 あわよくば詳しい人に誤りの指摘やアドバイスを頂ければいいなという...
1
1
Comment0
デザインパターンについて勉強してみた（個人的メモ）その５（Compositeパターン、Decoratorパターン、Visitorパターン）
はじめに この記事は個人的な勉強メモです。inputしたものはoutputしなくてはという強迫観念に駆られて記事を書いています。 あわよくば詳しい人に誤りの指摘やアドバイスを頂ければいいなという...
0
2
Comment0
デザインパターンについて勉強してみた（個人的メモ）その４（AbstractFactoryパターン、Bridgeパターン、Strategyパターン）
はじめに この記事は個人的な勉強メモです。inputしたものはoutputしなくてはという強迫観念に駆られて記事を書いています。 あわよくば詳しい人に誤りの指摘やアドバイスを頂ければいいなという...
0
1
Comment0
24 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles