详解go如何使用xorm在执行前改写 SQL

前言

有时候你需要再 SQL 执行之前对于 SQL 语句进行改写，有可能是修改表名字段名，有可能只是添加注释，这些看起来奇怪的操作其实有时候是为了帮助在数据库之前的 proxy 来实现某些功能，比如最常见的分库分表，读写分离，多租户等等。

使用Hint语法

举个具体的例子：

有些数据库中间件支持在 SQL 语句之前添加注释来实现读写分离

如何在读写模式为可读可写（自动读写分离）的集群地址中使用Hint语法。

使用限制

仅读写模式为可读可写（自动读写分离）的集群地址支持Hint语法，只读模式下的集群地址和主地址均不支持Hint语法。关于集群地址的读写模式信息，请参见集群地址的读写模式。

注意事项

Hint的路由优化级别最高，不受一致性级别和事务拆分的约束，使用前请进行评估。

使用方法

支持在SQL语句前加上/*FORCE_MASTER*/或/*FORCE_SLAVE*/强制指定这条SQL的路由方向。

例如select * from test默认会路由到只读节点，改为/*FORCE_MASTER*/ select * from test就会路由到主节点。

支持在SQL语句前加上/*force_node='<节点ID>'*/强制指定在某节点执行某查询命令。

例如/*force_node='pi-bpxxxxxxxx'*/ show processlist，该show processlist命令只在pi-bpxxxxxxxx节点执行。如果该节点发生故障，则返回报错force hint server node is not found, please check.。

支持在SQL语句前加上/*force_proxy_internal*/set force_node = '<节点ID>'强制指定在某节点执行所有查询命令。

例如/*force_proxy_internal*/set force_node = 'pi-bpxxxxxxxx'，执行该命令后，后续所有查询命令只发往pi-bpxxxxxxxx节点，如果该节点发生故障，则返回报错set force node 'rr-bpxxxxx' is not found, please check.。

说明

• 若您需要通过MySQL官方命令行执行上述Hint语句，请在命令行中加上-c参数，否则该Hint会被MySQL官方命令行过滤导致Hint失效，具体请参见MySQL官方命令行。
• 通常不建议使用/*force_proxy_internal*/语法，会导致后续所有查询请求都发往该节点，读写分离失效。
• Hint语句里不要有改变环境变量的语句，例如/*FORCE_SLAVE*/ set names utf8; 等，这类语句可能导致后续的业务出错。

支持在SQL语句前加上/*FORCE_MASTER*/或/*FORCE_SLAVE*/强制指定这条SQL的路由方向

所以当我们使用 orm 库的时候，就需要有一个类似钩子的东西，能在执行之前想办法将 sql 改写为所需要的样子，这就是今天的需求。

尝试过程

如果你只想知道如何使用，可跳过本段，直接去看最后的实现部分

一开始我做了各种尝试，由于 xorm 本身其实并没有相关文档说明，寻找并尝试了半天，虽然最后实现了，但是路径比较曲折。

尝试 1 ContextHook

最开始我想到的就是肯定是 Hook，不错，如我所料，确实有 Hook，并且里面有执行的 SQL，我非常高兴，然后直接开干。

// Hook represents a hook behaviour
type Hook interface {
    BeforeProcess(c *ContextHook) (context.Context, error)
    AfterProcess(c *ContextHook) error
}
// ContextHook represents a hook context
type ContextHook struct {
    start       time.Time
    Ctx         context.Context
    SQL         string        // log content or SQL
    Args        []interface{} // if it's a SQL, it's the arguments
    Result      sql.Result
    ExecuteTime time.Duration
    Err         error // SQL executed error
}

于是我直接实现了一个自定义的 Hook 然后使用 BeforeProcess 方法，在执行 SQL 前，替换了 ContextHook 其中的 SQL

代码非常简单，我就不展示了，然后调试了半天，发现打印的 SQL 已经被改写了，但实际执行却还是原来的 SQL。

为什么？于是我去翻了源码，发现，见鬼，这个 ContextHook 里面的 SQL 仅仅是为了日志打印用的。也就是说，这个 Hook 其实目的很明确，就是为了打印日志和计算 SQL 执行时间用的。

尝试 2 Events

在尝试 Event 之前我其实找了很多曲线救国的方式，但确实实现不了。然后我在文档里面找到了 Events。
比如：BeforeUpdate() BeforeDelete() 等等。问题是，Event 无法获取到需要执行的 SQL，事件仅能拿到需要执行的条件，而还没有解析成 SQL，所以这个方案也不行

尝试 3 Filter

于是我翻遍了源码，看看源码之前到底有什么操作能帮助我来完成这件事，然后发现了 Filter

// Filter is an interface to filter SQL
type Filter interface {
    Do(sql string) string
}

Filter 原本的作用是帮助 dialect 去过滤一些特殊数据库的特殊 SQL 来帮助 xorm 来适配各种类型的数据库。我发现在 SQL 执行之前，只有它能获取到 SQL 并改写，并且改写后的 SQL 能被执行。但，你从上面的接口也看到了，Filter 除了 SQL，其他什么也没有。于是我其实返回去尝试了很多其他的解法，发现仍然无解，最后去官方仓库提交了 PR，将 context 信息传递了进去，至此，就有了后面的实现。

实现

首先需要自定义 Dialect 和 Filter，因为 go 没有继承，所以使用组合的方式来实现多态，将原来的 dialects.Dialect 定义包装，并重写 Filters 方法用于获取到我们自定义的 Filter。

注意，mysql 默认是没有 Filter 的，其他数据库可能存在 Filter，可能需要将原来的拿过来并在末尾 append 一个自定义的 Filter。替换 SQL 就很简单了，你只需要按照你的需求，改写 SQL 并返回就可以了。如果你和我一样需要额外的信息，可以从 context 中获取，比如传递用户信息，或者 id，用于分库分表或实现多租户等。

type MyDialect struct {
    dialects.Dialect
}
func (d *MyDialect) Filters() []dialects.Filter {
    return []dialects.Filter{&MyFilter{}}
}
type MyFilter struct {
}
func (m *MyFilter) Do(ctx context.Context, sql string) string {
    return "/** 获取信息，改写sql **/" + sql
}

然后 xorm 只有 NewEngineWithDialectAndDB 方法执行自定义 Dialect ，所以用这个方法创建 Engine。并且使用 OpenDialect 方法将默认原先 xorm 的 mysql 对应的 Dialect 拿出来封装成自己的。

driver := "mysql"
    connection := "root:root@tcp(127.0.0.1:3306)/test?charset=utf8mb4"
    dialect, err := dialects.OpenDialect(driver, connection)
    if err != nil {
        panic(err)
    }
    s := &MyDialect{Dialect: dialect}
    dbs, err := core.Open(driver, connection)
    if err != nil {
        panic(err)
    }
    engine, err := xorm.NewEngineWithDialectAndDB(driver, connection, s, dbs)
    if err != nil {
        panic(err)
    }

总结

其实总的实现并不难，但过程还是异常艰辛，不过好在后面的路都很顺畅了，有了 SQL 你就可以解析它，比如解析需要操作的表名和操作语句，查询走 A，插入走 B 等等。最后我码住一些 Golang 的 MySQL proxy，或许你也需要。PS：目前我没有使用以下的库，仅仅是将抽离了下面的几个库里面的协议部分，伪造了 MySQL 服务来使用。

• https://github.com/vitessio/vitess
• https://github.com/XiaoMi/Gaea
• https://github.com/flike/kingshard

以上就是详解go如何使用xorm在执行前改写 SQL的详细内容，更多关于go xorm改写SQL的资料请关注脚本之家其它相关文章！

最新评论