OpenMetadata の Profiler について調べてみた
この記事は 気にはなってるけど触ってないビッグデータ系のツール・サービスを触る Advent Calendar 2022 の20日目の記事です。 OpenMetadata とは OpenMeta...
5
2
Comment0
18 search resultsShowing 1~18 results
Stocked
You need to log-in
AtomのMarkdownプレビューのStyleSheetをGitHub+αにする
概要 はじめに テキストエディタであるAtomでMarkdown記法を使う際のプレビューをGitHub Styleを適用しつつ少し見やすさを改善しました。 （自分好みにいじったので備忘録として残...
1
3
Comment1
dbt (CLI) × BigQuery 〜Docker 環境構築から GitHub Pages 公開まで〜
概要 この記事では、dbt (CLI) を Docker でさくっと試す方法を書きました dbt コマンドによって、BigQuery 上でデータセット、テーブル、ビューを作成します OAuth ...
9
3
Comment0
docker compose で「Additional property {property} is not allowed」エラーが出る
概要 docker-compose up -d をしたら 「Additional property {property} is not allowed」というエラーが出たので原因と解決策を紹介し...
35
16
Comment0
自分用BigQuery周りコマンド集
プロジェクト切り替え gcloud config set project project_id bq query クエリ結果をもとにテーブル作成(存在したら失敗) bq --location=u...
2
1
Comment1
国土交通省のGISデータをBigQueryにポリゴンとしてデータ投入する
概要 国土交通省の GIS データを BigQuery に投入する方法を記載する 用途 緯度経度に情報を付与したい場合に使う (都道府県、市区町村、各種統計情報) 参考 参考にさせて頂いた記事を...
4
3
Comment0
Google Data StudioのグラフをGASでSlack配信する
概要 Google Data StudioでSlack配信しなければいけないタスクが発生したため対応方法を記載します パイプライン Data Studioから自分宛にメールを日次でスケジュール配...
15
13
Comment0
バブルソートでソートされる様子を可視化する
概要 バブルソートでソートされる様子を matplotlib を使って描画してみました ※jupyter notebook上に貼り付けて実行してください bubble_sort.py impor...
1
1
Comment0
bqコマンドでデータセットを指定するとデータセット配下のテーブルを削除するようにした
概要 お掃除等のタイミングで、不要になったデータセット配下のテーブルをまるっと削除したい時用のスクリプトを書きました。 データセットごと削除してしまうと、やっぱりあのテーブル必要だった！？と発覚...
0
0
Comment0
IPv6とIPv4を共存させる
はじめに こちらのサイトを参考に、自宅のネットワークでIPv6とIPv4を共存させることができました。 この記事では補足を記載したいと思います。 環境 プロバイダ：楽天ひかり ※2020年4月末...
4
1
Comment0
BigQueryでLIKE文の複数条件指定をORから正規表現に直す
概要 BigQueryでLIKE文の複数条件指定をORから正規表現に置き換えます。 事の発端 IN演算子のLIKE版はありませんか？という質問を受けたので調べました。 Address IN ('...
13
6
Comment0
Rでモンテカルロ法を試してみる
まえがき Rの勉強を始めたのでアウトプットとしてQiitaに投稿していきます。 ※R version 3.6.2 / RStudio Version 1.2.5033 モンテカルロ法 モンテカル...
1
2
Comment0
TwitterAPIを用いたキーワード検索によるデータ収集
概要 Twitterでデータ収集して分析してみたい とりあえずTwitterAPIでツイートを収集してみよう というモチベーションでコードを書いてみました 今後やってみたいこと 株関連のツイート...
75
72
Comment0
Rで中心極限定理を確認してみた
まえがき Rの勉強を始めたのでアウトプットとしてQiitaに投稿していきます。 初心者の域を出ておりませんのであしからず。 ※R version 3.6.2 / RStudio Version ...
0
0
Comment1
Rでサイコロシミュレーションしてみた
まえがき Rの勉強を始めたのでアウトプットとしてQiitaに投稿していきます。 初心者の域を出ておりませんのであしからず。 ※R version 3.6.2 / RStudio Version ...
1
1
Comment1
sklearnでsin波の回帰モデルを作成する
sin波の回帰モデルを作成 sin波の回帰モデルは既にQiitaの他の記事にも多く取り上げられていますが、自身が躓いた点も踏まえて記載したいと思います。 まずはsin波の描画をします。それに付随...
2
4
Comment0
sklearnのPipelineを使うとコードをシンプルに書けるらしい
PipelineなしとPipelineありのコードを比較しよう まだPipelineの恩恵があまりわかっていませんが PipelineなしとPipelineありのコードを比較したいと思います。 ...
17
12
Comment0
sklearnのStandardScalerについて愚直にデバッグしてみた
標準化とは 標本に標準化を適用することで平均0、標準偏差1の分布になります。 sklearnのStandardScalerクラスで標準化を適用できますが、 機械学習初学者にとって他のPGを見ても...
3
2
Comment0
18 search resultsShowing 1~18 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles