データレイク、データウェアハウス 、データマートの3層構造の分析基盤を運用する話
これは「弁護士ドットコム Advent Calendar 2021」の 15 日目の記事です。 はじめに データ分析基盤の構成は多種多様なものがありますが、当社ではデータレイクをはじめとして、デ...
22
8
Comment0
13 search resultsShowing 1~13 results
Stocked
You need to log-in
ECSタスク定義に\tが入っていたせいでredashでNoneType object has no attribute test_connectionが出た話
はじめに 当社ではBIツールとしてredashを利用しており、つい先日v10へのアップデートを行いました。その際の記事はこちら。 今回はそんなアップデートにてECSタスク定義を変更した際、定義内...
0
0
Comment0
ECS Fargate環境のredashをv8からv10にした話
はじめに 当社ではBIツールredashを活用しておりますが、そのバージョンは長らくv8のままでした。v9betaが出ていたのは認知していたのですが、一向に正式版にならないままであった為、なかな...
3
0
Comment0
分析基盤に秩序を取り戻した話
これは「弁護士ドットコム Advent Calendar 2020」の 8 日目の記事です。 昨日は@shotanueのドラッグ可能な複数のポップアップウィンドウをPortalVue(Telep...
13
3
Comment0
BigQueryの承認済みビュー設定方法
はじめに 複数プロジェクトでBigQueryを利用していると、プロジェクトまたぎのビューを利用したい場面が度々訪れるかと思います。そこに権限の問題が絡んでくると非常に厄介ですが、当社でもこの問題...
0
0
Comment0
redashをECS Fargateに乗せて安定化を図りPythonで分析する環境を整えた話
はじめに 以前、社内のRedashをEC2からECSに移行してv5からv8にした話という記事を投稿しました。redashの古いバージョンを最新まで上げつつ、EC2からECS Fargateに載せ...
3
1
Comment0
troccoで冪等性を考慮しつつスナップショットを取得する設定の話
はじめに データ分析基盤において冪等性の問題は避けて通れないものではないかと思います。 当社ではtroccoを導入し、分析対象データのBigQueryへの集約を進めているのですが、集約にあたり細...
6
1
Comment0
troccoの導入で何が改善されたか
はじめに 当社ではデータ分析基盤改善の一環としてtroccoを導入しました。 この記事ではtrocco導入により何がどのように改善されたのかをまとめて記載します。 0. troccoとは tro...
10
4
Comment0
社内のRedashをEC2からECSに移行してv5からv8にした話
はじめに こんにちは。 この記事はEC2上で稼働するRedashをECSに移しつつv5からv8にアップグレードした際に行ったことをまとめたものです。Redashの移行やアップグレードを検討されて...
9
5
Comment0
AWS ECS サービス作成時に生成されたService discovery nameを消す
はじめに ECSで色々と作成しているとサービスが乱立してしまいがちで、それによってエラーが発生したりもします。 本記事はそれらを削除する方法をメモしておくものです。 要らないサービス名称を消す ...
2
2
Comment0
ECSにおいてdocker runコマンドの-t,--ttyオプションに相当する設定をした話
はじめに こんにちは。 現在私は社内のデータ分析基盤の刷新に取り組んでおります。 今回は検証中のDataSunriseをECSに乗せるべくを試行錯誤を行っていた中で発見した、 docker ru...
8
12
Comment0
AWSにおけるDataSunriseの導入及び初期設定
はじめに こんにちは。 現在私は社内のデータ分析基盤の刷新に取り組んでいます。 この記事は以下の要件を満たしてくれそうな製品であるDataSunriseを検証すべく、 まずは導入してみようという...
8
3
Comment0
DataSunrise 動的マスキング機能を試してみた
はじめに この記事は以前導入したDatasunriseの動的マスキング機能を試すという内容です 導入編はこちら マスキングの仕様 プリセットのマスキング機能は公式ドキュメントの5.10.2 Ma...
4
2
Comment0
13 search resultsShowing 1~13 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles