データ抽出時のuniqコマンド一覧

データ抽出の作業している時、uniqコマンドについてたまに分からなくなるけど、これを見れば大丈夫！
ついでに、uniqコマンドだけでなくcommコマンドも併記してみました。

サンプルテキスト

以下の2つのファイルを例に説明します。

A.txt

A
B
C
D
E

B.txt

B
D
X
Y
Z

「AというマスターのリストからBに含まれているものを除外する」というケース。

uniq

% sort {A,B,B}.txt | uniq -u > C.txt

実行例

% sort {A,B,B}.txt | uniq -u
A
C
E

comm

% comm -23 <(sort -u A.txt) <(sort -u B.txt) > C.txt

実行例

% comm -23 <(sort -u A.txt) <(sort -u B.txt)
A
C
E

上記の「A ANDNOT B」のケースで「BにあるデータはAにも絶対に含まれているはず」という前提の時、
念のため「XやYやZのような異分子が存在するかどうか」を確認するケース。

uniq

% sort {A,A,B}.txt | uniq -u > C.txt

実行例

% sort {A,A,B}.txt | uniq -u
X
Y
Z

comm

% comm -13 <(sort -u A.txt) <(sort -u B.txt) > C.txt

実行例

% comm -13 <(sort -u A.txt) <(sort -u B.txt)
X
Y
Z

「AとBどちらにも含まれているものを抽出する」というケース。

uniq

% sort {A,B}.txt | uniq -d > C.txt

実行例

% sort {A,B}.txt | uniq -d
B
D

comm

% comm -12 <(sort -u A.txt) <(sort -u B.txt) > C.txt

実行例

% comm -12 <(sort -u A.txt) <(sort -u B.txt)
B
D

「AとBどちらかに含まれているものを全て抽出する」というケース。

uniq

% sort {A,B}.txt | uniq > C.txt

実行例

% sort {A,B}.txt | uniq
A
B
C
D
E
X
Y
Z

comm

% comm <(sort -u A.txt) <(sort -u B.txt) | tr -d '\t' > C.txt

実行例

% comm <(sort -u A.txt) <(sort -u B.txt) | tr -d '\t'
A
B
C
D
E
X
Y
Z

排他的論理和。
「AとBどちらにも含まれているものだけ除外する」というケース。

uniq

% sort {A,B}.txt | uniq -u > C.txt

実行例

% sort {A,B}.txt | uniq -u
A
C
E
X
Y
Z

comm

% comm -3 <(sort -u A.txt) <(sort -u B.txt) | tr -d '\t' > C.txt

実行例

% comm -3 <(sort -u A.txt) <(sort -u B.txt) | tr -d '\t'
A
C
E
X
Y
Z