全角文字をsedやAWKの正規表現にかけると……

気が利いてるのか、お節介なのか

ロケール環境変数(LC_*やLANG)を認識してくれるGNU版のgrepやsed、AWKコマンドの正規表現は、キャラクタークラスを用いた場合、全角の文字を半角で対応する文字と同一視してくれます。

知ってました?

それを知らずにハマったことのある人には、「なんてお節介な!」と思える機能かもしれませんが、知っていれば便利な機能です。

[[:alnum:]]で試してみる

正規表現には**キャラクタークラス指定**というものがあります。例えば[[:alnum:]]は、アルファベットと数字にマッチするクラスです。

UTF-8やEUC-JPなど、マルチバイト文字に対応するようにロケール環境変数が設定されていると、sedやAWKにおける[[:alnum:]]は全角文字にも反応します。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | sed 's/[[:alnum:]]/*/g'
*** ****　****＋
$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | awk '{gsub(/[[:alnum:]]/,"*");print}'
*** ****　****＋
$ 

というように、行頭にある半角の“MSX”もその後に続く全角の“ＭＳＸ２”も*に置換されます。

ちなみに、[]の中に^を付ければ意味が反転するわけですが、それもちゃんと効きます。やってみましょう。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | sed 's/[^[:alnum:]]/*/g'
MSX*ＭＳＸ２*ＭＳＸ２*
$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | awk '{gsub(/[^[:alnum:]]/,"*");print}'
MSX*ＭＳＸ２*ＭＳＸ２*
$ 

というわけで、アルファベットでも数字でもない、全半角スペースとプラス記号が*に置換されました。

[[:blank:]]で試してみる

もちろん他のキャラクタークラスでも同様です。例えば、半角スペースやタブに反応する[[:blank:]]というクラスでやってみましょう。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | sed 's/[[:blank:]]/*/g'
MSX*ＭＳＸ２*ＭＳＸ２＋
$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | awk '{gsub(/[[:alnum:]]/,"*");print}'
MSX*ＭＳＸ２*ＭＳＸ２＋
$ 

というように、行頭から4文字目の半角スペースもそれ以降にある全角スペースも*に置換されました。つまり、全角スペースも半角スペースも同一視されていることがわかります。

ですが、AWKのフィールド区切りは飽くまで半角のみなようで、上記文字列の最大フィールド番号(NF)を確認してみると2だったりします。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | awk '{print NF}'
2
$ 

へんなのー。

全角に反応させたくない場合はどうすればいいのか

全角と半角を区別し、半角だけにマッチしたいという場合も当然ありますよね。そういう場合は、環境変数を無効にしてやればOKです。

例えばenvコマンドに-iオプションを付けてその後にコマンドを書いてやれば、ロケールを含めて全ての環境変数が渡されなくなりますので全角文字はマルチバイト列と見なされて反応しなくなります。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | env -i sed 's/[[:alnum:]]/*/g'
*** ＭＳＸ２　ＭＳＸ２＋
$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | env -i awk '{gsub(/[[:alnum:]]/,"*");print}'
*** ＭＳＸ２　ＭＳＸ２＋
$ 

あるいは、環境変数LANGをCにしたり、unsetしたりしてもいいです。

$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | LANG=C sed 's/[[:alnum:]]/*/g'
*** ＭＳＸ２　ＭＳＸ２＋
$ unset LANG
$ echo 'MSX ＭＳＸ２　ＭＳＸ２＋' | awk '{gsub(/[[:alnum:]]/,"*");print}'
*** ＭＳＸ２　ＭＳＸ２＋
$ 

都合よく使い分けましょう。