BigQueryのclusterとpartitionカルトクイズ
BigQueryでは、他データベースのインデックスに相当する、データへのアクセス量を削減する手法として、 clustering partitioning の2つがある。これらの機能をなんとなく知...
9
1
Comment0
14 search resultsShowing 1~14 results
Stocked
You need to log-in
BigQueryのclusterとpartition カルトクイズ その２
その１では、単一の列に対してpartitionやclusterを適用する場合を扱った。 その２では、複数列への適用ケースやpartitionとclusterの併用について取り扱う。 複数列のcl...
3
1
Comment0
A/Bテストの統計的仮説検定と必要データ数
概要 自分の復習のために、A/Bテストの効果を統計的仮説検定する方法を記述する。 また、A/Bテストに必要なデータ数を計算するための方法を示す。 検算と理解の促進のために、随所でPythonによ...
7
8
Comment0
[Tensorflow2.0] GraphとEagerで動作するsummaryの出力方法
概要 本記事はTensorflow1系に慣れている方を想定した、Tensorflow2におけるsummaryの使い方の解説です。 Tensorflow 2.0は、Eager Modeという強力な...
5
3
Comment0
シンプルなApe-X+Soft-Actor-Criticを実装しstate-of-the-artを出す
最近、友人がTensorflowからPyTorchに流れてしまい危機感を覚えました。ここはTensorflowならstate of the artを簡単に出せることを示し、目を覚まさせる必要があ...
21
6
Comment0
Tensorflow Eager vs PyTorch (強化学習編)
Introduction 強化学習におけるTensorflowの実装たるや、その多くは可読性が低いです。それに比べて、PyTorchやchainerといったDefine-by-Run型のフレーム...
44
29
Comment1
Tensorflowにおけるatomicな変数の読み書き (ResourceVariable)
Tensorflowで凝った処理を行う際に、非同期で変数を読み書く必要が出てくるケースがあります。 例えば非同期的にモデルの学習と評価を行う場合、学習器がパラメーターを更新していく横で、評価器が...
1
1
Comment0
Tensorflowのグラフ最適化とその可視化
Tensorflowのような、計算グラフを構築してから実行するDefine and Runなフレームワークの利点の一つは、計算グラフを実行する前に最適化を行えることです。 計算グラフの最適化では...
5
6
Comment0
TensorflowにおけるRop (ヤコビアンとベクトルの積)の計算方法
※本記事はTensorflowにおけるLopに記載された内容を前提としています 入力を$M$次元の$x$, 出力を$N$次元の$y$とする関数$f(x)$について考えます。このとき、ヤコビアン$...
7
1
Comment0
TensorflowにおけるLop (ベクトルとヤコビアンの積)
本記事はTensorflowにおけるベクトルとヤコビアンの積の計算手法についてまとめたものです。 Tensorflowでのgradientsの基礎 Tensorflowで微分を行う関数gradi...
6
3
Comment0
Tensorflowにおける非決定的動作とスレッド間同期
Tensorflowで乱数要素がないのに、実行するたびに結果が変わるグラフを意図せず書いてしまい、デバッグに時間を要したので原因と対策を記載する。 毎回動作が変わるグラフの例はこちら。 a = ...
4
2
Comment0
データ点ごとに勾配を求める
問題設定 勾配を用いる学習では、ミニバッチごとに損失関数$L$のパラメーター勾配 $\nabla_{\theta} L$ を求めます。 また、損失関数$L$は各データ点$z_i$における損失$L...
4
2
Comment0
デフォルトの勾配関数を上書きしてデータ点ごとの勾配を求める
本記事はデータ点ごとに勾配を求める手法の中でも、Conv2Dの勾配関数を上書きして求める手法について詳細を記述したものです。 データ点ごとの勾配情報の取り出し 前記事のとおりTensorflow...
5
1
Comment0
Tensorflow Timelineによるパフォーマンスの計測
画像認識モデルを作成しているともう少し速くしたい、なぜか遅いと思うシーンがあります。 訓練時、推論時、どちらを速くしたいかによって取れるアプローチは異なりますが、いずれにせよどこに時間がかかって...
43
34
Comment0
14 search resultsShowing 1~14 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles