Luigi逆引きリファレンス
PythonのジョブマネージャであるLuigi 2.0系のメモです。 基本 Taskの基本の型 standard_task.py import luigi class MyTask(luigi....
119
114
Comment0
16 search resultsShowing 1~16 results
Stocked
You need to log-in
JupyterからカジュアルにBigQueryをクエリする時のコスト上限を指定する
Jupyter上でPandasを使ってBigQueryをクエリする時のコスト上限を指定する 課題 Jupyter上でインタラクティブにコードを書きながらBigQueryにクエリを投げたりしている...
3
4
Comment0
BigQueryで統計量を出す時に使うクエリメモ
これは何か window関数を駆使するとUDFを使わなくとも簡潔に統計量が出せる。がよく書き方を忘れるのでメモ 基本 -- 平均 AVG(expr) -- 中央値0.1%誤差 NTH(501, ...
96
74
Comment0
watchmedo(watchdog)を使ってエディタでファイルを保存する度にテストを実行する時の設定
エディタでファイルを保存する度にタスクを実行したい時、RubyであればGuard、JSを書いている時であればGruntを使えば良いのだが、Pythonのコードを書いている時はその手のツールもPy...
6
8
Comment2
PRML§3.3.1 ベイズ線形回帰によるパラメータ分布の収束図を再現する
社内勉強会でぼちぼち進めているPRML、カラーの図版があると真面目に再現したくなります。今回は3.3.1のパラメータの分布の事後確率が収束する様子の図版を再現しました。この図は 直近の観測データ...
12
11
Comment0
Jupyterで日本語ラベルを使ったグラフを描画する
IPython Notebook、デフォルト状態ではグラフ中の日本語ラベルが豆腐になるので設定ファイルで日本語フォントを指定して使っている人が多いと思う。しかしIPythonを3にアップデートし...
65
58
Comment0
travisでpython-mecabを動かしたい時の設定
Pythonで形態素解析をしたい時、とりあえずMeCabを使うときがある。ただこのMeCab、pip install MeCab みたいに1行書けばすぐに使える楽な物では無いので、他の環境で動か...
3
3
Comment0
fluentdのexec_filter Output PluginでPythonプログラムを使う
exec_filter Output Plugin (out_ecec_filter)は要するにフィルタ処理を任意のプログラムを使ってかませられる。例えば次の処理に不要なレコードを落したり、エラ...
9
7
Comment0
BigQueryを使う処理のテストをどう書くか
この記事はVOYAGE GROUP エンジニアブログ Advent Calendar 2014の6日目の記事です。 こんにちは、VOYAGE GROUPで片手間データサイエンティスト業に従事して...
70
62
Comment0
IRKitのマニュアルセットアップ
公式アプリを使わないでセットアップする場合のメモ。IRKit Internet APIを使って外部からIRKitを操作するまでの手順。公式ページだと1手づつ進めるのにページを行ったりきたりしない...
19
20
Comment0
fluentdのexec Output PluginでPythonプログラムを使う
実戦で使い始めて1週間ですがfluentdとても便利。そしてexec Output PluginでPythonプログラムにデータを渡してみる。 起動コマンド ドキュメントにあるPythonの例は...
14
14
Comment0
Django管理サイトのチューニング
Djangoは管理者ページが強力なのが良い所だが、適当に使ってるとORMが雑なSQLを発行してしまうのでケアする。 まだ使い初めたばかりなので、適宜追加していく。 querysetを上書きして一...
32
28
Comment0
IPython Notebookのノートをバッチ処理化する
IPython Notebook、インタラクティブなデータ分析、プログラミング環境として非常に便利。そしてヘビーに使っているとバッチ処理の様なコードも書いて実行したくなる。ノートを保存した時の....
32
30
Comment0
Matplotlibでリテンション率グラフを描画する
モバイルアプリケーションの運営に欠かせない指標の1つであるユーザーリテンション、PartyTrack等の分析サービスを使っていると良く目にすると思う。ただ、自分の持っているデータでグラフを描画し...
12
12
Comment0
perlbrewとcpanmでPerl環境を作る
普段使っていないのですぐに忘れてしまう。いい加減メモしておく。シェルはzshを使っている。 まずはperlbrewを入れる。 $ curl -kL http://xrl.us/perlbrewi...
8
8
Comment0
MacOSX Lion に最初から入ってるab(apache bench)が腐ってる件
最初から入ってる奴を使うと $ which ab /usr/sbin/ab $ ab -n 1000 http://localhost:9999/ This is ApacheBench, Ve...
1
1
Comment0
16 search resultsShowing 1~16 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles