go Antlr重构脚本解释器实现示例
前言
在上一个版本实现的脚本解释器 GScript 中实现了基本的四则运算以及 AST 的生成。
当我准备再新增一个 % 取模的运算符时，会发现工作很繁琐而且几乎都是重复的；主要是两步：
- 需要在词法解析器中新增对
%符号的支持。 - 在语法解析器遍历 AST 时对
%token 实现具体逻辑。
其中的词法解析和遍历 AST 完全是重复工作，所以我们可否能够简化这两步呢？
Antlr
Antlr 就是做帮我们解决这些问题的常用工具，利用它我们只需要编写词法文件，然后就可以自动生成词法、语法解析器，并且可以生成不同语言的代码。
下面以 GScript 的示例来看看 antlr 是如何帮我们生成词法分析器的。
func TestGScriptVisitor_Visit_Lexer(t *testing.T) {
expression := "(2+3) * 2"
input := antlr.NewInputStream(expression)
lexer := parser.NewGScriptLexer(input)
for {
t := lexer.NextToken()
if t.GetTokenType() == antlr.TokenEOF {
break
}
fmt.Printf("%s (%q) %d\n",
lexer.SymbolicNames[t.GetTokenType()], t.GetText(),t.GetColumn())
}
}
//output:
("(") 0
DECIMAL_LITERAL ("2") 1
PLUS ("+") 2
DECIMAL_LITERAL ("3") 3
(")") 4
MULT ("*") 6
DECIMAL_LITERAL ("2") 8
Antlr 会自动将我们的表达式解析为 token，遍历 token 时还能拿到该 token 所在的代码行数、位置等信息，在编译期间做语法检查非常有用。
要实现这些我们只需要编写词法、语法规则文件即可。
刚才的示例所对应的词法、语法规则如下：
expr
: '(' expr ')' #NestedExpr
| liter=literal #Liter
| lhs=expr bop=( MULT | DIV ) rhs=expr #MultDivExpr
| lhs=expr bop=MOD rhs=expr #ModExpr
| lhs=expr bop=( PLUS | SUB ) rhs=expr #PlusSubExpr
| expr bop=(LE | GE | GT | LT ) expr # GLe
| expr bop=(EQUAL | NOTEQUAL) expr # EqualOrNot
;
DECIMAL_LITERAL: ('0' | [1-9] (Digits? | '_'+ Digits)) [lL]?;
运行：
antlr -Dlanguage=Go -o parser -visitor -no-listener GScript.g4
而我们要实现具体的语法逻辑时只需要实现相关的接口，Antlr 会自动遍历 AST（当然也可以手动控制），同时在访问不同的 AST 节点时会回调我们自己实现的接口，这样我们就能编写自己的语法规则了。
以这里的新增的取模运算为例：
func (v *GScriptVisitor) VisitModExpr(ctx *parser.ModExprContext) interface{} {
lhs := v.Visit(ctx.GetLhs())
rhs := v.Visit(ctx.GetRhs())
return lhs.(int) % rhs.(int)
}
当 Antlr 回调 VisitModExpr 方法时，便能获取到 % 符号左右两侧的数据，这时只需要做相关运算即可。
基于这个模式这次新增了一个 statement，具体语法如下：
func TestGScriptVisitor_VisitIfElse8(t *testing.T) {
expression := `
if(3!=(1+2)){
return 1+3
} else {
return false
}`
input := antlr.NewInputStream(expression)
lexer := parser.NewGScriptLexer(input)
stream := antlr.NewCommonTokenStream(lexer, 0)
parser := parser.NewGScriptParser(stream)
parser.BuildParseTrees = true
tree := parser.Prog()
visitor := GScriptVisitor{}
var result = visitor.Visit(tree)
fmt.Println(expression, " result:", result)
assert.Equal(t, result, false)
}
Antlr 还有其他各种优势，比如可以解决：
- 左递归。
- 二义性。
- 优先级。
等问题。
这里也推荐在 IDE 中安装 Antlr 的插件，这样就可以直观的查看 AST 语法树，可以帮我们更好的调试代码。
升级 xjson
借助 GScript 提供的 statement，xjson 也提供了有些有意思的写法：
因为 xjson 的四则运算语法没有使用 Antlr 生成，所以为了能支持 GScript 提供的 statement 需要手写许多词法代码。
这也体现了 Antlr 这类前端工具的重要性，效率提升是非常明显的。
总结
借助于 Antlr 后续 GScript 会继续支持函数调用、更完善的类型系统、面向对象等特性；感兴趣的朋友请持续关注。
源码地址：
以上就是go Antlr重构脚本解释器实现示例的详细内容，更多关于go Antlr脚本解释器的资料请关注脚本之家其它相关文章！
相关文章
解决Golang time.Parse和time.Format的时区问题
这篇文章主要介绍了解决Golang time.Parse和time.Format的时区问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
这篇文章主要介绍了golang简单tls用法,分析了tls协议的使用步骤及客户端与服务器端的相关实现代码,需要的朋友可以参考下2016-07-07
这篇文章主要介绍了golang快速实现网页截图的方法,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
当需要每天执行定时任务的时候就需要定时器来处理了,周期任务,倒计时任务,定点任务等,下面这篇文章主要给大家介绍了关于Go编写定时器与定时任务的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
本文主要介绍了go net实现简单的redis通信协议，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
结构体是Go语言中重要且灵活的概念之一，本文旨在深入介绍Go语言中的结构体，揭示其重要性和灵活性，并向读者展示结构体支持的众多特性，需要的可以参考一下2023-06-06
这篇文章主要给大家介绍了关于golang设置http response响应头与填坑记录的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-08-08
这篇文章主要介绍了go语言base64加密解密的方法,实例分析了Go语言base64加密解密的技巧,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了Go语言的context包从放弃到入门,本文通过实例演示给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-12-12
Go语言中的map是一种高效的数据结构,其扩容机制确保了在大数据量情况下的性能,本文介绍了包括扩容触发条件、扩容过程和渐进式扩容,感兴趣的可以了解一下2024-12-12
最新评论