key-value 形式のデータをシェルコマンドでランキング集計する

別にそんなランキングが好きってワケでもないのだけど、
sortとuniqとawkでいけそうなので試してみた。

元のファイル

scores.txt

user_1 2
user_2 4
user_3 3
user_4 5
user_5 5
user_6 10
user_7 10
user_8 2
user_9 5
user_10 9
user_11 1
user_12 10
user_13 5
user_14 3
user_15 10
user_16 3
user_17 8
user_18 8
user_19 6
user_20 8

値で降順ソート

bash

cat scores.txt | sort -n -k2 -r

output

user_7 10
user_6 10
user_15 10
user_12 10
user_10 9
user_20 8
user_18 8
user_17 8
user_19 6
user_9 5
user_5 5
user_4 5
user_13 5
user_2 4
user_3 3
user_16 3
user_14 3
user_8 2
user_1 2
user_11 1

ランク付け

bash

echo -e "rank\tscore\t同一値が何件あるか"
echo "---------------------------------"
cat scores.txt | sort -n -k2 -r | uniq -c --skip-fields=1 | awk 'BEGIN {rank=1} {print rank "\t" $3 "\t" $1; rank += $1}'

output

rank    score   同一値が何件あるか
---------------------------------
1   10  4
5   9   1
6   8   3
9   6   1
10  5   4
14  4   1
15  3   3
18  2   2
20  1   1

用途とか

DBから吐き出したデータ流し込んでみたり。
1万件程度ならたぶん一瞬で終わるはず。

手元のmac book airだと50万件で5secくらいだった。

bash

$ echo "select user_id, some_value from some_scores" | mysql -N > output
$ wc output
  560064 1120128 7120489 output
$ time cat output | sort -n -k2 -r | uniq -c --skip-fields=1 | awk 'BEGIN {rank=1} {print rank "\t" $3 "\t" $1; rank += $1 }'
1       15931976        1
2       12639996        1
3       12243584        1
4       10977612        1
5       10884615        1
6       10373565        1
7       10055521        1
8       10042108        1
9       9980887 1
10      9505452 1

-- 略 --

real    0m5.271s
user    0m3.688s
sys 0m0.094s

ちなみに実際はgsortとguniqとgawkでやってます。例によってmacなので。