JavaScript: 文字列ろ過

文字列から特定文字を除外して全体の容量を削減、あるいは縮めやすくする魔法を紹介します。本記事ではこの工程を濾過と呼びます。
その対象文字となるのは全角英数字、Greek、Cyrillic、平仮名、片仮名、半角片仮名となります。同種の文字が連続しているほど効果が高くなります(2文字目からは1 byte)。

原理

以下の規則で変換します。当然可逆変換です。元の文字列に[#-~]が含まれていても問題ありません。

• 全角英数字 → 半角英数字. 但し ＼(\uFF3C), ～(\uFF5E)は除外
• Greek([\u0391-\u03CE]) → [A-~]
• Cyrillic([\u0410-\u044F]) → [?-~]
• 平仮名([\u3041-\3093]) → [#-u]
• 片仮名([\u03A1-\u30FC] → [#-~]
• 半角片仮名([\uFF61-\uFF9F] → [@-~]

実装

/* 対象文字自動設定
@txt: 文字列
@encode: 真なら濾過、偽なら逆濾過
*/
function selectFilter(txt,encode){return encode?
	/[！＃-＆’（-［］-｝￥]/.test(txt)|
	/[\u0391-\u03CE]/.test(txt)<<1|
	/[\u0410-\u044F]/.test(txt)<<2|
	/[\u3041-\u3093]/.test(txt)<<3|
	/[\u03A1-\u30FC]/.test(txt)<<4|
	/[\uFF61-\uFF9F]/.test(txt)<<5:
	/\1[!#-\}]/.test(txt)|
	/\2[A-~]/.test(txt)<<1|
	/\3[?-~]/.test(txt)<<2|
	/\4[#-u]/.test(txt)<<3|
	/\5[#-~]/.test(txt)<<4|
	/\6[@-~]/.test(txt)<<5
}
/* encoder
@txt: 文字列
@flag: 濾過対象文字. 以下の数値の合計で決まる.
	例えばflag=8なら平仮名, flag=6ならGreek + Cyrillic
	1: 全角英数字
	2: Greek
	4: Cyrillic
	8: 平仮名
	16: 片仮名
	32: 半角片仮名
*/
function strFiltering(txt,flag){if(!flag)return txt;
	var a=0,b,c=96,d=7,A=[],F=[],G=[],C=[],H=[],K=[],L=[],S=String.fromCharCode;
	for(;d;)F[--d]=[];
	while(c)F[0][S(--c+32)]=1;
	// build filter
	if(flag&1){for(c=93,A[S(8217)]="'",A[S(65509)]="\\";c;)if(--c^59&&c^6&&c^1)F[1][A[S(c+65281)]=S(c+33)]=1;txt=txt.replace(/\1/g,"\1\1")}
	if(flag&2){for(c=62;c;)F[2][G[S(--c+913)]=S(c+65)]=1;txt=txt.replace(/\2/g,"\2\2")}
	if(flag&4){for(c=64;c;)F[3][C[S(--c+1040)]=S(c+63)]=1;txt=txt.replace(/\3/g,"\3\3")}
	if(flag&8){for(c=83;c;)F[4][H[S(--c+12353)]=S(c+35)]=1;txt=txt.replace(/\4/g,"\4\4")}
	if(flag&16){for(c=92;c;)F[5][K[S(--c+12449)]=S(c+35)]=1;txt=txt.replace(/\5/g,"\5\5")}
	if(flag&32){for(c=63;c;)F[6][L[S(--c+65377)]=S(c+64)]=1;txt=txt.replace(/\6/g,"\6\6")}
	// encoding loop
	for(txt=txt.split(flag="");c=txt[a];txt[a++]=b+c){b="";
		if(A[c]){if(d^1)b=flag="\1",d=1;c=A[c]}
		else if(G[c]){if(d^2)b=flag="\2",d=2;c=G[c]}
		else if(C[c]){if(d^3)b=flag="\3",d=3;c=C[c]}
		else if(H[c]){if(d^4)b=flag="\4",d=4;c=H[c]}
		else if(K[c]){if(d^5)b=flag="\5",d=5;c=K[c]}
		else if(L[c]){if(d^6)b=flag="\6",d=6;c=L[c]}
		else if(d&&F[d][c])b=flag,d=0
	}return txt.join("")
}
/* decoder
@txt: 文字列
@flag: 濾過対象文字. strFilteringと同じ仕様
*/
function strFiltered(txt,flag){if(!flag)return txt;
	for(var a=0,b=0,c,d,e=6,C=[],D,S=String.fromCharCode;e;)if(flag>>--e&1)C[S(e+1)]=e?[]:{"'":S(8217),"\\":S(65509)};
	// build filter
	if(flag&1)for(c=93;c;)if(--c^59&&c^6&&c^1)C[S(1)][S(c+33)]=S(c+65281);
	if(flag&2)for(c=62;c;)C[S(2)][S(--c+65)]=S(c+0x391);
	if(flag&4)for(c=64;c;)C[S(3)][S(--c+63)]=S(c+1040);
	if(flag&8)for(c=83;c;)C[S(4)][S(--c+35)]=S(c+0x3041);
	if(flag&16)for(c=92;c;)C[S(5)][S(--c+35)]=S(c+0x30A1);
	if(flag&32)for(c=63;c;)C[S(6)][S(--c+64)]=S(c+0xFF61);
	// decoding loop
	for(txt=txt.split("");c=txt[a++];)
		C[c]?c!=txt[a]?D=C[c==d?e^=1:e=1,d=c]:txt[a++,b++]=c:txt[b++]=e&&D[c]||c;
	txt.length=b;return txt.join("")
}

使用例

var s="アホハあおより蒼紫様ハチマキまきまち操気弾";
var e=strFiltering(s,selectFilter(s,1));
var d=strFiltered(e,selectFilter(e));
console.log(e,d);
// 対象文字手動選択
s="Соседская хурма часто ест клиентов.";
e=strFiltering(s,4);
d=strFiltered(e,4);
console.log(e,d);

ちなみにselectFilterは濾過(strFiltering)に使うには問題無いですが、逆濾過(strFiltered)に使う場合は要注意です。濾過前の文字列に[\x01-\x06]と[#-~]の組が含まれていると、正しく逆濾過できない事があります。
それが心配なら逆濾過でselectFilterを使わず、引数flagに数値を直接入力。上記例で言えばd=strFiltered(e,24)と記述。何でもかんでもまとめて処理したいなら、両方の関数の第2引数には63を指定すれば良い。

余談

ひょっとしたら見覚えのある人もいるかも。確か15年くらい前に公開した化石programに組み込まれているとかいないとか…