Pub/Subのスキーマ
Pub/Subのスキーマとは Google CloudのメッセージングサービスPub/Subは、オプションでトピックにスキーマを適用することができます。スキーマを適用した場合、スキーマに準拠しな...
0
0
Comment0
30 search resultsShowing 1~20 results
Stocked
You need to log-in
BigQuery から BigTable へ ReverseETL ついでに ContinuousQuery で
はじめに 比較的新しいBigQueryの機能である次の2つを軽く試して見たいと思います。 Export to BigTable Cotinuous Query まずはバッチで ReverseET...
0
0
Comment0
Hive-BigQuery Connector
Hive-BigQuery Connector とは Google CloudにDataprocというHadoopのマネージド・サービスがあります。数クリックでHadoopクラスタがすぐに構築で...
0
0
Comment0
Dataplex でカスタムエントリとリネージを手動で登録する
はじめに 本記事では、Pythonの標準SDKを利用して、Dataplexのカスタムエントリとリネージを作成してみます。カスタムエントリは、Dataplexがメタデータの自動収集の対象としている...
0
0
Comment0
[自分用メモ] Hiveのテーブル作成
テーブル作成例 create table customer ( `c_custkey` bigint COMMENT '', `c_name` string COMMENT '', `c_a...
0
0
Comment1
BigQuery Tips メモ
積算和の計算の仕方 SELECT order_id, SUM(price) OVER ( ORDER BY prices ROWS BETWEEN UNBOUNDED PRECEDING AND...
1
1
Comment0
Dataplex(Data Catalog) でカスタムエントリを更新する - カラムの description を変えてみる
Dataplex(統合前のData Catalog) では、BigQuery などのスキーマ情報は自動的に登録されますが、これに加えて外部のサービスのメタデータも任意に管理対象とすることができま...
0
0
Comment0
PySpark で パーティショニングされた parquet ファイルを扱う
データの読み込み path = "gs://bucket/table/year=*/month=*/day=*/location=*/*.parquet" base_path = "gs://b...
0
0
Comment0
Dataflow簡単まとめ Window編
Window とは Dataflow 、つまり Apache Beam では、データの論理的な塊である PCollection は2種類の扱いがあり、Bounded と Unbounded と言...
6
3
Comment0
自分用Google Cloud コマンドリファレンス(分析系)
順次追記予定 全般 クライアントの更新 $ sudo gcloud components update デフォルトプロジェクトの確認 $ gcloud config list デフォルトプロジェ...
236
183
Comment1
dbtを触ってみた
何ができるか BigQueryなどのデータウェアハウスやデータベースのデータに対して、いわゆるELT処理のTを構築管理することができるソフトウェアorサービスです。 使い方は、クラウドサービスの...
5
4
Comment0
Dataflow Workbench で CloudSQL のデータを BigQuery フェデレーションでみる
Dataflow Workbench の起動 Google Cloud Console > Dataflow > Workbench 新しいノートブック > Apache Be...
0
0
Comment0
BigQuery のTABLESAMPLEを試してみる
BigQuery の2021年3月のアップデートにTABLESAMPLEがありました。ちょっと試してみたいと思います。 TABLESAMPLE オペレータ 対象のテーブルが大量でサンプリングした...
3
1
Comment1
BigQueryに関する技術情報リンク集
順次追加 パフォーマンスチューニング BigQuery におけるコスト最適化の ベスト プラクティス クエリ パフォーマンスの最適化の概要 Cloud Storage のパフォーマンスを最適化す...
0
0
Comment0
BigQueryで他のユーザの実行クエリを見る
自分の実行したクエリは簡単に参照することができますが、他のユーザが実行したクエリを参照するにどうするかをみていきます。 まず、クエリを参照するためには、権限と方法の2つが重要です。 クエリ・ジョ...
4
2
Comment0
Dataflow Template "BigQuery to TFRecord" の中身
Dataflow Template "BigQuery to TFRecord"のソースコードを読んでみる Dataflow Template は、Google Cloud の分散処理サービスで...
0
0
Comment0
BigQueryのTPC-Hテーブルスキーマ情報
末尾に|(パイプ)が一本多いのでnullカラムを全てのテーブルで埋め合わせのために入れています。 PART table p_partkey:INTEGER,p_name:STRING,p_mfg...
0
0
Comment0
BigQuery BI Engine
BigQuery BI Engineについて BI Engineとは BigQueryで利用できるインメモリ分析サービスです。インメモリなので通常のクエリにカラべて素早く結果をえることができます...
1
1
Comment0
Cloud Dataflow で Cloud Firestore に書き込む
初めに Google Cloud の Dataflow を使って、Cloud Pub/Sub のデータを Firestore にリアルタイムにストリーム処理で格納してみます。使用言語は Pyth...
4
4
Comment0
Dataflowメモ ParDo編
元ネタ Dataflow とは こちらをご覧ください。 ParDo とは ParDoは、並列にTranformするための汎用的な処理関数です。 ParDoは、データの塊であるPCollectio...
3
4
Comment0
30 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles