概要
あるテキストファイル中の各行で、特定の文字列の出現回数をカウントするワンライナーはどう構成すればいいか考える。
探索対象の例として、以下のテキストファイルを用意する。
$ cat input.txt
Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do: once or twice she had peeped into the book her sister was reading, but it had no pictures or conversations in it, 'and what is the use of a book,' thought Alice 'without pictures or conversation?'
So she was considering in her own mind (as well as she could, for the hot day made her feel very sleepy and stupid), whether the pleasure of making a daisy–chain would be worth the trouble of getting up and picking the daisies, when suddenly a White Rabbit with pink eyes ran close by her.
There was nothing so VERY remarkable in that; nor did Alice think it so VERY much out of the way to hear the Rabbit say to itself, 'Oh dear! Oh dear! I shall be late!' (when she thought it over afterwards, it occurred to her that she ought to have wondered at this, but at the time it all seemed quite natural); but when the Rabbit actually TOOK A WATCH OUT OF ITS WAISTCOAT–POCKET, and looked at it, and then hurried on, Alice started to her feet, for it flashed across her mind that she had never before seen a rabbit with either a waistcoat–pocket, or a watch to take out of it, and burning with curiosity, she ran across the field after it, and fortunately was just in time to see it pop down a large rabbit–hole under the hedge.
（引用: https://etc.usf.edu/lit2go/1/alices-adventures-in-wonderland/ ）
アプローチ
1. sed + awk
カウントしたい文字以外を削除して、残った行中の文字数を数える方針で考える。
例えば対象ファイル中の a の文字が各行に含まれる数を数える場合、以下のように sed によって対象文字以外を削除してから awk によって残った行中の文字数をカウントする。
こうすることで対象ファイル中の各行の a の文字をカウントすることができる。
$ sed 's/[^a]//g' input.txt | awk '{ print length; }'
13
16
50
このアプローチを用いる場合、複数文字で構成される文字列をカウントしたい時には一度対象の文字列をそのファイル中で用いられていない別の文字に変換する必要がある。
例えば Alice という文字列を各行でカウントしたい場合、一度 Alice を sed により + （テキスト中に現れない文字）に変換してから、各行中の + の出現回数を求める。
$ sed 's/Alice/+/g' input.txt | sed 's/[^+]//g' | awk '{ print length; }'
2
0
2
2. tr + awk
sed ではなく trを代わりに用いても同様の処理を実現することができる。
-d オプションと -c オプションを組み合わせることで、a と \n 以外の文字を削除し、awk によって残った行中の文字数をカウントする。
こうすることで対象ファイル中の各行の a の文字をカウントすることができる。
$ tr -d -c 'a\n' < input.txt | awk '{ print length; }'
13
16
50
このアプローチを用いる場合、「1. sed + awk」と同様に、複数文字で構成される文字列をカウントしたい時には一度対象の文字列をそのファイル中で用いられていない別文字に変換するステップを挿入する必要がある。
なお、tr では複数文字で構成される文字列の置換ができないので下記の例では sed を用いている。
$ sed 's/Alice/+/g' input.txt | tr -d -c '+\n' | awk '{ print length; }'
2
0
2
3. awk (1)
awk によりカウント対象の文字を -F オプションでフィールドセパレータとして指定して各行を分割し、残ったフィールド数 (NF) から1を引くことでカウントすることもできる。
対象ファイル中の各行の a の文字をカウントする場合、以下のようになる。
$ awk -Fa '{ print NF-1 }' input.txt
13
16
50
この場合、複数文字で構成される文字列をカウントする場合にもそのまま応用することができる。
例えば、各行中に現れる Alice の文字列をカウントしたい場合は以下のようになる。
$ awk -FAlice '{ print NF-1 }' input.txt
2
0
2
4. awk (2)
awk の gsub 関数を用いることで、よりコンパクトに求めることができる。
gsub 関数は第一引数の正規表現にマッチした文字を第二引数で与えられた文字列に変換し、その変換回数を返す関数である。
cf. https://www.gnu.org/software/gawk/manual/html_node/String-Functions.html
対象ファイル中の各行の a の文字をカウントする場合、以下のようになる。
$ awk '{ print gsub(/a/, "") }' input.txt
13
16
50
このアプローチも、複数文字で構成される文字列をカウントするパターンにそのまま適用することができる。
各行中に現れる Alice の文字列をカウントしたい場合は以下のようになる。
$ awk '{ print gsub(/Alice/, "") }' input.txt
2
0
2
参考