LoginSignup
7
7

More than 5 years have passed since last update.

D言語Advent Calendar 2012Day 9
@youxkei

コンパイル時にも動くJSONパーサをサクっと作ってみる

Last updated at Posted at 2012-12-10

D言語erの方もそうでない方も、おはようございます！
D言語 Advent Calendar 2012の9日目の記事です。

前回の記事で、ctpgを紹介したので、
今回の記事で、ctpgを使った例を紹介します。
タイトルにもある通り、ctpgを使ってJSONパーサを作っていきます。

パーサを作る

ctpgでパーサを作るので、とりあえず外枠を書きます。

D
import ctpg, std.json, std.array;
import std.conv: to;

mixin(generateParser(q{
    @default_skip(defaultSkip)

}));

こんな感じですね。
@default_skipで、全体的なスキップパーサを指定しています。
defaultSkipは、主な空白にマッチするパーサです。ctpg内で定義されてます。
以下のソースコードは、基本的にこの枠の中に書かれていると思って下さい。

json

ルートの規則名は、とりあえずjsonにしましょう。

D
JSONValue json = _object / array / str / integer / _null;

それぞれの規則を/でつなげています。
/で繋げられた規則は、まず左側の規則が評価され、マッチしなかった場合、右側の規則が評価されるというものです。

このあたりは、特に難しくは無いですね。

今回は、話を簡単にするために、負の整数と浮動小数点数には対応しないことにします。

ところで、唐突にJSONValueなる構造体が出てきましたが、これはstd.json内で定義されている、JSONの内容を表す構造体です。

_object

D
JSONValue _object = !"{" ( strLit !":" json )*<","> !"}" >> (Tuple!(string, JSONValue)[] pairs){
    JSONValue val;
    val.type = JSON_TYPE.OBJECT;
    foreach(pair; pairs){
        val.object[pair[0]] = pair[1];
    }
    return val;
};

_objectは変換を含んでいるので、複雑ですね・・・

規則の定義の中で使われている演算子の!ですが、これは、結果を破棄するというものです。
例えば、"hoge" "piyo"の型はTuple!(string, string)ですが、
!"hoge" "piyo"とすると、Tuple!(string)となります。
更に、Tuple!(string)はstringに自動的に変換されます。

それをふまえて、とりあえず括弧内を見てみると、
( strLit !":" json )となっています。

strLitは、文字列リテラルにマッチする規則です。あとで定義します。型はstringです。
jsonは、上で定義した規則です。

すると、括弧内の型は、Tuple!(string, JSONValue)になりそうですね。

括弧のすぐ右に、*<",">とありますが、これは、","を区切りとして、0個以上にマッチするというものです。型は、演算子がかかっている規則の型の動的配列になります。

すると、( strLit !":" json )*<",">の型はTuple!(string, JSONValue)[]になりますね。

左右にある!"{"や!"}"は無視されるので、結果として型はTuple!(string, JSONValue)[]になり、それを>>を使って_objectの型であるJSONValueに変換しています。

変換の内容は・・・特に難しくないですね。

array

D
JSONValue array = !"[" json*<","> !"]" >> (JSONValue[] jsons){
    JSONValue val;
    val.type = JSON_TYPE.ARRAY;
    val.array = jsons;
    return val;
};

あまり_objectと変わりません。
解説は大丈夫ですね。

str

D
JSONValue str = strLit >> (string str){
    JSONValue val;
    val.type =JSON_TYPE.STRING;
    val.str = str;
    return val;
};

strLitは、上でも書きましたが、最後辺りに定義します。

integer

D
JSONValue integer = [0-9]+ >> join >> to!ulong >> (ulong num){
    JSONValue val;
    val.type = JSON_TYPE.UINTEGER;
    val.uinteger = num;
    return val;
};

>>がたくさん連なってて楽しいですね！

[0-9]ですが、正規表現と同じく、'0'から'9'までの文字にマッチします。型は、不思議なことに、stringです。
その右にある+ですが、*の1個以上版です。<〜〜>を省略出来て、その場合、区切りはなしとなります。

そんな訳で、[0-9]+の型はstring[]となり、これをstd.array.joinに渡してstringに変換し、to!ulongに渡してulongに変換します。
最後に、自分でJSONValueに変換していますね。

boolean

D
JSONValue boolean
    = !"true"  >> { JSONValue val; val.type = JSON_TYPE.TRUE;  return val; }
    / !"false" >> { JSONValue val; val.type = JSON_TYPE.FALSE; return val; }
;

少し変わった書き方をしています。
!"true"のような場合、型はTuple!()になります。
規則の型がTuple!()で、変換を自分で書く場合、>> (){ 〜〜 }のようになります。
この時、()が省略できて、結果的に上のようになっています。

もうひとつ、/の優先度は>>よりも低いので、上のように書けます。

_null

D
JSONValue _null = !"null" >> { JSONValue val; val.type = JSON_TYPE.NULL; return val; };

これもbooleanとあまり変わりません。

strLit

D
string strLit = strLit_p >> (string str){
    if(str[0] == '"' || str[0] == '`'){
        str = str[1..$-1];
    }else if(str[1] == 'r'){
        str = str[2..$-1];
    }
    return str;
};

またまた唐突に出てきたstrLit_pですが、これは、ctpg内に定義されている文字列リテラルにマッチするパーサです。
strLit_pの結果は"などを含んでしまうので、変換でそれを取り除いています。

書けた！

書けました。上で書いた規則を全てあわせると、

parser.d
import ctpg, std.json, std.array;
import std.conv: to;

mixin(generateParsers(q{
    @default_skip(defaultSkip)

    JSONValue json = _object / array / str / integer / _null;

    JSONValue _object = !"{" ( strLit !":" json )*<","> !"}" >> (Tuple!(string, JSONValue)[] pairs){
        JSONValue val;
        val.type = JSON_TYPE.OBJECT;
        foreach(pair; pairs){
            val.object[pair[0]] = pair[1];
        }
        return val;
    };

    JSONValue array = !"[" json*<","> !"]" >> (JSONValue[] jsons){
        JSONValue val;
        val.type = JSON_TYPE.ARRAY;
        val.array = jsons;
        return val;
    };

    JSONValue str = strLit >> (string str){
        JSONValue val;
        val.type =JSON_TYPE.STRING;
        val.str = str;
        return val;
    };

    JSONValue integer = [0-9]+ >> join >> to!ulong >> (ulong num){
        JSONValue val;
        val.type = JSON_TYPE.UINTEGER;
        val.uinteger = num;
        return val;
    };

    JSONValue boolean
        = !"true"  >> { JSONValue val; val.type = JSON_TYPE.TRUE;  return val; }
        / !"false" >> { JSONValue val; val.type = JSON_TYPE.FALSE; return val; }
    ;

    JSONValue _null = !"null" >> { JSONValue val; val.type = JSON_TYPE.NULL; return val; };

    string strLit = strLit_p >> (string str){
        if(str[0] == '"' || str[0] == '`'){
            str = str[1..$-1];
        }else if(str[1] == 'r'){
            str = str[2..$-1];
        }
        return str;
    };
}));

となります。
パーサなので、相当な行数になるかと思いきや、そうでもありませんね。
大体50行くらいになっています。

使ってみる

まず、適当なJSONを用意します。

parser.d続き
enum src = `
[
    {
        "name":"ctpg",
        "author":"Hisayuki Mima",
        "place":"https://github.com/youkei/ctpg",
        "stars":17,
        "pull requests":0
    },
    {
        "name":"ytl",
        "author":"Yutopp",
        "place":"https://github.com/yutopp/ytl",
        "stars":4,
        "pull requests":0
    },
    null
]
`;

これを、上で定義した規則でパースして、確かめてみます。

sample.d
import std.stdio, std.json, parser, ctpg;

void main(){
    auto parsed = parse!json(src);
    assert(parsed.match);
    JSONValue val = parsed.value;
    val.array[0].object["name"].str.writeln();
    val.array[1].object["author"].str.writeln();
}

これを実行すると、

$ dmd -ofrun -Ictpg/src ctpg/src/ctpg.d parser.d -run sample.d
ctpg
Yutopp

となります。
無事、パース出来てますね！

コンパイル時に動かしてみる

ctpgで作ったパーサは、コンパイル時にも動作するので、確かめてみます。

sample_ct.d
import std.json, ctpg, parser;

pragma(msg, {
    JSONValue val = parse!json(src).value;
    assert(val.array[0].object["name"].str == "ctpg");
    assert(val.array[0].object["author"].str == "Hisayuki Mima");
    assert(val.array[0].object["place"].str == "https://github.com/youkei/ctpg");
    assert(val.array[0].object["stars"].uinteger == 17);
    assert(val.array[0].object["pull requests"].uinteger == 0);

    assert(val.array[1].object["name"].str == "ytl");
    assert(val.array[1].object["author"].str == "Yutopp");
    assert(val.array[1].object["place"].str == "https://github.com/yutopp/ytl");
    assert(val.array[1].object["stars"].uinteger == 4);
    assert(val.array[1].object["pull requests"].uinteger == 0);

    assert(val.array[2].type == JSON_TYPE.NULL);
    return val;
}());

void main(){}

コンパイル時に、パースしたデータを全てチェックして、表示するコードです。
実行してみると、

$ dmd -ofrun -Ictpg/src ctpg/src/ctpg.d parser.d -run sample_ct.d
JSONValue(, 0L, 0LU, nanL, null, [JSONValue(, , 0LU, nanL, [['n', 'a', 'm', 'e']:JSONValue(['c', 't', 'p', 'g'], , , , , , cast(JSON_TYPE)cast(byte)0),['a', 'u', 't', 'h', 'o', 'r']:JSONValue(['H', 'i', 's', 'a', 'y', 'u', 'k', 'i', ' ', 'M', 'i', 'm', 'a'], , , , , , cast(JSON_TYPE)cast(byte)0),['p', 'l', 'a', 'c', 'e']:JSONValue(['h', 't', 't', 'p', 's', ':', '/', '/', 'g', 'i', 't', 'h', 'u', 'b', '.', 'c', 'o', 'm', '/', 'y', 'o', 'u', 'k', 'e', 'i', '/', 'c', 't', 'p', 'g'], , , , , , cast(JSON_TYPE)cast(byte)0),['s', 't', 'a', 'r', 's']:JSONValue(, , 17LU, , null, null, cast(JSON_TYPE)cast(byte)2),['p', 'u', 'l', 'l', ' ', 'r', 'e', 'q', 'u', 'e', 's', 't', 's']:JSONValue(, , 0LU, , null, null, cast(JSON_TYPE)cast(byte)2)], null, cast(JSON_TYPE)cast(byte)4), JSONValue(, , 0LU, nanL, [['n', 'a', 'm', 'e']:JSONValue(['y', 't', 'l'], , , , , , cast(JSON_TYPE)cast(byte)0),['a', 'u', 't', 'h', 'o', 'r']:JSONValue(['Y', 'u', 't', 'o', 'p', 'p'], , , , , , cast(JSON_TYPE)cast(byte)0),['p', 'l', 'a', 'c', 'e']:JSONValue(['h', 't', 't', 'p', 's', ':', '/', '/', 'g', 'i', 't', 'h', 'u', 'b', '.', 'c', 'o', 'm', '/', 'y', 'u', 't', 'o', 'p', 'p', '/', 'y', 't', 'l'], , , , , , cast(JSON_TYPE)cast(byte)0),['s', 't', 'a', 'r', 's']:JSONValue(, , 4LU, , null, null, cast(JSON_TYPE)cast(byte)2),['p', 'u', 'l', 'l', ' ', 'r', 'e', 'q', 'u', 'e', 's', 't', 's']:JSONValue(, , 0LU, , null, null, cast(JSON_TYPE)cast(byte)2)], null, cast(JSON_TYPE)cast(byte)4), JSONValue(null, 0L, 0LU, nanL, null, null, cast(JSON_TYPE)cast(byte)8)], cast(JSON_TYPE)cast(byte)5)

となります。
なんだか見づらいですが、チェックも通ってるので、コンパイル時にちゃんと動いてますね！！

まとめ

この記事では、コンパイル時にも動作するJSONパーサを、ctpgを使って書いてきました。
負の整数や浮動小数点数を無視していますが、50行くらいでサクッと書けましたね。

ctpgの展望ですが、今後はParse TreeやASTを吐けるようにしたいです。
JSONのような単純なものは、上のようなすぐに変換する方法で何とかなりますが、複雑になってくると、一度ASTにしてからそれをいじる必要が出てくると思います。
そんな時に、ASTが吐けると便利ですよね。

10日目は、@mono_shooさんです。二回目ですね！

7
7
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
7
7