csvや標準入力をsqlで取得できるqコマンド

csvファイルを扱うときにいつもなんかコマンドがあったはず！？ってググることから始めてしまうのでメモ。

ドキュメント

インストール条件

Just Python 2.5 and up or Python 2.4 with sqlite3 module installed. Python 3.x is not supported yet.

インストール

macだとbrewでできるらしい

brew install q

使い方

元のcsvファイル

aaa.csv

a_id,b_id,a_name,a_memo
1,1,aa1,a_memo1
2,2,aa2,a_memo2
3,3,aa3,a_memo3
4,4,aa4,a_memo4
5,5,aa5,a_memo5
6,6,aa6,a_memo6
7,7,aa7,a_memo7
8,8,aa8,a_memo8
9,9,aa9,a_memo9
10,10,aa10,a_memo10

絞込（select）

~/tmp  ᐅ q -H -O -d ',' "select * from aaa.csv where a_id in (2,4,6,8,10);"
a_id,b_id,a_name,a_memo
2,2,aa2,a_memo2
4,4,aa4,a_memo4
6,6,aa6,a_memo6
8,8,aa8,a_memo8

sumとかも使える。

~/tmp  ᐅ q -H -O -d ',' "select sum(b_id) from aaa.csv ;"
sum(b_id)
55

結合（join）

もう一つcsvファイルを用意

bbb.csv

b_id,b_name,b_memo
1,bb1,b_memo1
2,bb2,b_memo2
3,bb3,b_memo3
4,bb4,b_memo4
5,bb5,b_memo5
6,bb6,b_memo6
7,bb7,b_memo7
8,bb8,b_memo8
9,bb9,b_memo9
10,bb10,b_memo10

~/tmp  ᐅ q -H -O -d ',' "select a.*,b.b_name,b.b_memo from aaa.csv as a left join bbb.csv as b on a.b_id=b.b_id"
a_id,b_id,a_name,a_memo,b_name,b_memo
1,1,aa1,a_memo1,bb1,b_memo1
2,2,aa2,a_memo2,bb2,b_memo2
3,3,aa3,a_memo3,bb3,b_memo3
4,4,aa4,a_memo4,bb4,b_memo4
5,5,aa5,a_memo5,bb5,b_memo5
6,6,aa6,a_memo6,bb6,b_memo6
7,7,aa7,a_memo7,bb7,b_memo7
8,8,aa8,a_memo8,bb8,b_memo8
9,9,aa9,a_memo9,bb9,b_memo9
10,10,aa10,a_memo10,bb10,b_memo10

標準入力から

vimとかと同じで-で標準入力が取れる。

~/tmp  ᐅ cat aaa.csv|q -H -O -d ',' "select * from - where a_id=1"
a_id,b_id,a_name,a_memo
1,1,aa1,a_memo1

文字コード変換

csvとかだとsjisで作成されてることが多いのでかなり便利

以下はsjisファイルをutf-8に変換してる。

q -d ',' -e SJIS -E UTF-8 "select c3 from sjis_file.csv limit 10"

参考サイト

ぶっちゃけ参考サイトを見れば十分である。