はじめに
背景
- 言語つくるの面白そうという興味
- LLVMに今興味を持っていて字句解析・構文解析は興味があった
- CもC++も書けなかったがpythonは触ったことがあった
PLYとは
- Pythonの字句解析/構文解析ライブラリ
- 以下をpythonで実装し、まとめたもの
- 字句解析器lex
- 構文解析器yacc
準備
PLYのインストール
$ pip install ply
- python3・python2両方に対応してるっぽい
- python3.6では問題があるっぽい？githubのissueにそれっぽいことが...
今回実装するものを決める
- 変数
- コンソールを終了する関数
- とりあえず名前はexitとする
- 文字をコンソールに表示する関数
- とりあえずputとする
- コメントは#から
- タブ・スペースは無視する
実装
字句解析
- 今回作成したコードを以下に示す
lex.py
import ply.lex as lex
tokens = (
# Literals
'ID',
# Function
'PUT', 'EXIT',
)
# Identifiers at var
t_ID = r'(?!put|exit)[A-Za-z_][A-Za-z0-9_]*'
# Function
t_PUT = r'put'
t_EXIT = r'exit'
# space is ignore
# space and tab is ignore
t_ignore = ' \t'
# comment
t_ignore_COMMENT = r'\#.*'
# error handling
def t_error(t):
print("不正な文字 '%s'" % t.value[0])
t.lexer.skip(1)
#
lex.lex(debug=0)
- token = ( )
- カッコの中に解析したい要素を
- 字句解析のルール
- 正規表現で表す
- 命名規則はt_トークン名
- t_ignoreは文字列をスキップ
- t_ignore_COMMENTはコメントを定義できる
- t_errorはマッチしなかったとき呼び出される
- lex.lex()でビルド
- 正規表現がよくわかっていないので割とごり押しになってます
- 綺麗に正規表現で書けるようになりたい(勉強するする詐欺)
構文解析
以下に作成したコードを示す
yacc.py
import ply.yacc as yacc
from lex import tokens
import sys
names = {}
# var (id)
def p_expr_id(p):
'expr : ID'
try:
p[0] = names[p[1]]
except LookupError:
print('Undefine var name %s' %p)
p[0] = 0
# exit function
def p_exit(p):
'expr : EXIT'
print('See You!')
sys.exit()
# empty
def p_empty(p):
'empty :'
pass
# syntax error
def p_error(p):
print ('Syntax error in input %s' %p)
parser = yacc.yacc()
# Debug
def parse(data, debug=0):
return yacc.parse(data, debug=debug)
if __name__ == '__main__':
while True:
try:
s = input('>>> ')
except EOFError:
break
if not s:
continue
result = parser.parse(s)
print (result)
- names = {}
- 変数名と値を格納するためのdictionary
- p_expr_id
- ID(p[1])を変数名としてexpr(p[0])に
- 'expr : ID は p[0]: p[1]で渡される
- p_exit
- See You!と表示してコンソールを終了する
- pythonのsys.exit()関数が使える
- Debug
- 割愛
動かしてみる
実は変数を定義したが現状何もできない
できるのはexit関数を試すぐらいだ
実行は
$ python yacc.py
>>> exit
See You!
$
おわりに
何となくそれっぽい画面になってexitで抜けれた
最後のほう説明がざつになってきた
参考にしたもの
PythonでPPAP(ペンパイナッポーアッポーペン)をイメージしたオリジナル言語 「PPAPScript」を作ってみた， ryo-ma.