Ironyとは
IronyはC#で使えるパーサージェネレータです。
パーサージェネレータとはなんぞや、という方もいると思うので少し解説を。
パーサージェネレータとは、文字通り構文解析器を作るためのライブラリやツールのことです。有名どころではyaccとか、javaccとかがありますね。
もちろんXMLやJSONなどをパースするくらいならそのためのライブラリがあるでしょうし、なくてもぱっと書けるでしょう。ですが往々にしてテキストをパースしたいニーズはあるものです。パーサーをいちから作るのは大変、でも必要。そういうときに活躍するのがパーサージェネレータです。
しかしです。javaccはjavaのソースを、yaccはCのソースしか吐いてくれません。不便な(当たり前です)。
その上、採用する言語が変わると使えるパーサージェネレータが変わってしまうので、そのジェネレータ毎にBNF記法が一部違っていたり、はたまた全然別物だったりするわけです。
IronyはBNFの記法を覚えず、C#の文法で構文の定義ができます。極論C#が使えるならばIronyも使えるということです！
しかしながら残念なことに日本語のドキュメントが無く、また日本語の情報も少ないので、些か手を出しづらいかもしれません。そこで今回から数回にわたってIronyの解説をしたいと思います。
早速使ってみよう！
まず、Visual Studioのプロジェクトを作りましょう。
ConsoleApplicationをテンプレートに選んで作ったら、NuGetでIronyとIrony.Interpreterを追加します。
そしてParser/GrammarDefinition.csを追加しましょう。
using Irony.Parsing;
namespace MyLangParser.Parser{
[Language("MyLangGrammar")]
class GrammarDefinition : Grammar { }
}
ここまでできたら、一度保存します。
文法を考える
パーサーであるからには、何らかの文法に則ってテキストをパースするものであるはずです。
いくら優れたパーサージェネレータがあっても、文法を考えずしてパーサーを作ることはできません。
文法を考えましょう。
今回は、コンフィグファイルのパーサーを作ります。
Entry1 = "foo"
Section1{
Id1 = "abc"
Subsection{
hoge = 12
}
}
Section2{
foo = "It will fine!"
}
こんな感じの書き方ができるような文法を考えます。
value =:: <Number> | <String>
entry =:: <identifier>'='<value>
section =:: <identifier>'{'((<entry> | <section>)*)'}'
config =:: (<section> | <entry>)*
こんな感じになるでしょうか。
<config>と<module>の中身は一緒の内容なので、まとめるとこんな感じになります。
value =:: <Number> | <String>
entry =:: <identifier>'='<value>
module =:: <identifier>'{'<config>*'}'
config =:: (<module> | <entry>)*
これをIronyのコードにしてみましょう。
このコードはGrammarDefinition.csの中の、GrammarDefinitionクラスの中に記述します。
public GrammarDefinition(){
///トークン、非終端記号の宣言
var Num = new NumberLiteral("Number");
var Str = new StringLiteral("String", "\"");
var Id = new IdentifierTerminal("identifier");
var Value = new NonTerminal("Value");
var Entry = new NonTerminal("Entry");
var Section = new NonTerminal("Section");
var Config = new NonTerminal("Config");
///文法の定義
Value.Rule = Num | Str;
Entry.Rule = Id + ToTerm("=") + Value;
Section.Rule = Id + ToTerm("{") + Config + ToTerm("}");
Config.Rule = MakeStarRule(Config, Section | Entry);
Root = Config;
}
文法のデバッグ
https://github.com/IronyProject/Ironyのリポジトリをクローンするかzipとしてダウンロードします。
zipとしてダウンロードした場合は適当なディレクトリに解凍します。
コンパイルにmsbuild.exeを使うので、パスが通っていることを確認します。
Microsoft Windows [Version 10.0.15063]
(c) 2017 Microsoft Corporation. All rights reserved.
C:\>where msbuild
C:\Program Files (x86)\MSBuild\14.0\Bin\MSBuild.exe
このように入力するとパスが通っている場合、例のようにmsbuild.exeまでのパスが表示されます。
Microsoft Windows [Version 10.0.15063]
(c) 2017 Microsoft Corporation. All rights reserved.
C:\>where msbuild
情報: 与えられたパターンのファイルが見つかりませんでした。
このように表示された場合はVisual Studioを使っている場合おそらくどこかにありますので探してパスに追加してください。
正常にパスが通ったならビルドに入りましょう！
C:\>cd "クローン又は解凍したフォルダ"
クローン又は解凍したフォルダ>cd .\Irony.GrammarExplorer
クローン又は解凍したフォルダ\Irony.GrammarExplorer>msbuild /t:Build /v:m 030.Irony.GrammarExplorer.2012.csproj
Microsoft (R) Build Engine バージョン <msbuildのバージョン>
Copyright (C) Microsoft Corporation. All rights reserved.
010.Irony.2012 -> クローン又は解凍したフォルダ\Irony\bin\Debug\Irony.dll
015.Irony.Interpreter.2012 -> クローン又は解凍したフォルダ\Irony.Interpreter\bin\Debug\Irony.Interpr
eter.dll
030.Irony.GrammarExplorer.2012 -> クローン又は解凍したフォルダ\Irony.GrammarExplorer\bin\Debug\Irony
.GrammarExplorer.exe
クローン又は解凍したフォルダ\Irony.GrammarExplorer>
正常にビルドに成功すれば「クローン又は解凍したフォルダ\Irony.GrammarExplorer\bin\Debug\」にファイルが生成されます。そのうちの、FastColoredTextBox.dll、Irony.dll、Irony.GrammarExplorer.exe、Irony.Interpreter.dllをプロジェクトフォルダにコピーしましょう。
一旦VisualStudioに戻ってプロジェクトをビルドします。
ビルドしたら、Irony.GrammarExplorer.exeを起動して下の写真の矢印の部分をクリックして、出てきたドロップダウンメニューの「Add grammar...」を選択します。
GUIで選択できるファイルは*.dllだけですが、直接入力で*.exeも指定できます。
ビルドした結果のバイナリを選択すると、下の写真のようなポップアップが出ますが、何も考えずに「OK」で構いません。
正常に構文定義が読み込まれると、下の写真のようになります。
Testタブをクリックして、
Entry1 = "foo"
Section1{
Id1 = "abc"
Subsection{
hoge = 12
}
}
Section2{
foo = "It will fine!"
}
このように入力してみます。Parseボタンをクリックすると、正常に定義できている場合、「Parse Tree」タブにトークンツリーが生成されるはずです。エラーが出たり、ツリーがおかしい場合は、構文定義を見直してください。
今回はここまでです。次回もよろしくお願いします。