Golang使用CGO与Plugin技术运行加载C动态库

 更新时间:2022年07月15日 08:39:05   作者:​ 字节跳动技术团队  ​  
这篇文章主要介绍了Golang使用CGO与Plugin技术运行加载C动态库,Golang 程序在运行时加载C动态库的技术,跳过了Golang项目编译阶段需要链接C动态库的过程,提高了Golang项目开发部署的灵活性

文章简介

本文介绍一种 Golang 程序在运行时加载 C 动态库的技术,跳过了 Golang 项目编译阶段需要链接 C 动态库的过程,提高了 Golang 项目开发部署的灵活性。

技术背景

Golang 程序调用 OpenCC 动态库的函数,执行文本繁体转简体操作。 需要在编译时不链接动态库,只在程序运行时加载 OpenCC 动态库。

OpenCC 库是使用 C++ 编写的繁简体转换程序,提供 C 语言 API 接口。 开源项目地址

CGO 技术是让 Golang 语言使用 C 语言代码的一种方式,可以在 Golang 程序编译的时候链接 C 动态库。C 语言经过数十年的发展,有丰富的开源项目。在 Golang 生态还不是很完善的情况下,我们经常需要使用一些成熟的C开源项目。

Plugin 是 Golang 1.8 版本引入了一个新的插件系统,允许程序员使用动态链接库构建松散耦合的模块化程序,在程序运行时动态加载和绑定。

本文循序渐进地讲解 2 种解决方案:

  • 解决方案 1:使用 CGO 技术,编译时绑定 OpenCC 的接口。
  • 解决方案 2:引入 Plugin 技术,程序运行时加载动态库。

解决方案1

方案 1 是最初的解决方案,使用 CGO 技术,在编译的时候绑定 OpenCC 的接口。

Golang -> CGO -> libopencc.so

编写CGO接口定义文件:

// opencc.h
#include <stdlib.h>

void* Opencc_New(const char *configFile);
void* Opencc_Delete(void *id);
const char *Opencc_Convert(void *id, const char *input);
void Opencc_Free_String(char *p);
// opencc.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "opencc/src/opencc.h"

const char *Convert(const char *input, const char *config) {
        if(strlen(config) > 16) {
                return 0;
        }

        char configFile[256] = "/usr/share/opencc/";
        strcat(configFile, config);
        strcat(configFile, ".json");

        opencc_t p = opencc_open(configFile);
        char *out = opencc_convert_utf8(p, input, strlen(input));
        out[strlen(input)] = '\0';

        opencc_close(p);

        return out;
}

void Convert_free_string(char *p) {
        opencc_convert_utf8_free(p);
}

void* Opencc_New(const char *configFile) {
        return opencc_open(configFile);
}

void Opencc_Delete(void *id) {
        opencc_close(id);
}

const char *Opencc_Convert(void *id, const char *input) {
        char *output = opencc_convert_utf8(id, input, strlen(input));
        output[strlen(input)] = '\0';
        return output;
}

void Opencc_Free_String(char *p) {
        opencc_convert_utf8_free(p);
}
// opencc.go
package opencc

import "unsafe"
// #cgo LDFLAGS: -L${SRCDIR}/output/lib -lopencc
// #include "opencc.h"
import "C"
func NewConverter(config string) unsafe.Pointer {
        return C.Opencc_New(C.CString(config))
}
func Convert(p unsafe.Pointer, input string) string {
        inputChars := C.CString(input)
        outputChars := C.Opencc_Convert(p, inputChars)

        defer C.Opencc_Free_String(inputChars)
        defer C.Opencc_Free_String(outputChars)

        result := C.GoString(outputChars)
        return result
}
func Close(p unsafe.Pointer) {
        C.Opencc_Delete(p)
}
func ConvertOneTime(input string, config string) string {
        p := NewConverter(config)
        defer Close(p)
        return Convert(p, input)
}
func ConvertAsync(input string, config string, callback func(output string)) {
        go func() {
                callback(ConvertOneTime(input, config))
        }()
}
// test.go 调用OpenCC动态库的函数。
package main

import "fmt"
import "your/repository/go-opencc"
const (
        input = "中国鼠标软件打印机"
        config_s2t = "/usr/share/opencc/s2t.json"
        config_t2s = "/usr/share/opencc/t2s.json"
)
func main() {
        fmt.Println("Test Converter class:")
        c := opencc.NewConverter(config_s2t)
        defer c.Close()
        output := c.Convert(input)
        fmt.Println(output)

        fmt.Println("Test Convert function:")
        s := opencc.Convert(input, config_s2t)
        fmt.Println(s)
        fmt.Println(opencc.Convert(s, config_t2s))

        fmt.Println("Test ConvertAsync function:")
        retChan := make(chan string)
        opencc.ConvertAsync(input, config_s2t, func(output string) {
                retChan <- output
        })

        fmt.Println(<- retChan)
}

方案 1,可以正确链接 libopencc.so 文件,并成功执行 Convert 函数进行繁简体转换。 但是有个问题,该方案在 Mac 系统上不容易进行编译,需要在 Mac 系统里安装 OpenCC 项目。假如调用 OpenCC 的项目有 10 人共同开发,就需要在 10 人的 Mac 电脑上进行编译,开发协作困难,不方便部署。

解决方案2

引入 Plugin 技术,程序运行时加载动态库。

Golang -> Plugin -> libgo_opencc.so -> CGO -> libopencc.so

编写 Plugin 动态链接库。

// opencc_lib.go
package main
import (
        "unsafe"

        opencc "your/repository/go-opencc"
)

type openccConverter string

// NewConverter 创建Converter
func (s openccConverter) NewConverter(config string) unsafe.Pointer {
        return opencc.NewConverter(config)
}

// Convert 转换函数
func (s openccConverter) Convert(p unsafe.Pointer, input string) string {
        return opencc.Convert(p, input)
}

// Close 释放Converter占用的内存资源(不再使用Converter了)
func (s openccConverter) Close(p unsafe.Pointer) {
        opencc.Close(p)
}
// ConvertOneTime 转换函数(转换一次,该函数每次调用都会加载配置文件,有性能影响)
func (s openccConverter) ConvertOneTime(input string, config string) string {
        return opencc.ConvertOneTime(input, config)
}
// OpenccConverter export symble
var OpenccConverter openccConverter

编译动态库 build.sh 创建 output 目录,编译生成 ./output/lib/libgo_opencc.so 动态库。

#!/bin/bash

mkdir -p output

cd opencc
./build.sh
cd ..
cp -rf opencc/output/* ./output
go build -buildmode=plugin -o ./output/lib/libgo_opencc.so ./lib/opencc_lib.go

使用 Plugin 加载 libgo_opencc.so,调用 OpenCC 的函数。

package main
import (
        "os"
        "plugin"
        "testing"
        "unsafe"
        "fmt"
)
// 实现 opencc_lib.go 的接口
type OpenccConverter interface {
        NewConverter(config string) unsafe.Pointer
        Convert(p unsafe.Pointer, input string) string
        Close(p unsafe.Pointer)
        ConvertOneTime(input string, config string) string
}

func TestOpenccSo(t *testing.T) {
        openccPlugin, pluginErr := plugin.Open("/your/path/to/go-opencc/output/lib/libgo_opencc.so")
        if pluginErr != nil {
                panic(pluginErr)
        }

        symbol, cerr := openccPlugin.Lookup("OpenccConverter")
        if cerr != nil {
                fmt.Errorf("%+v", cerr)
                os.Exit(1)
        }

        plug, ok := symbol.(OpenccConverter)
        if !ok {
                fmt.Errorf("unexpected type from module symbol")
                os.Exit(1)
        }

        config := "/usr/share/opencc/hk2s.json"
        pointer := plug.NewConverter(config)
        defer plug.Close(pointer)

        input := "傳統漢字"

        output := plug.Convert(pointer, input)

        fmt.Printf("output: %s", output)
}
// 运行测试 TestOpenccSo,输出 “传统汉字”。

方案 2,实现了在程序运行时通过 Plugin 技术加载 libgo_opencc.so 动态库,再由 libgo_opencc.so 链接到 libopencc.so,即可在 Mac、Linux 系统上编译 Golang 程序,无需每台开发机都部署 OpenCC 项目。最终发布到生产环境时,由编译打包平台将 libgo_opencc.so 和 libopencc.so 一起打包发布。

到此这篇关于Golang使用CGO与Plugin技术运行加载C动态库的文章就介绍到这了,更多相关Go加载C动态库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Go 语言 JSON 标准库的使用

    Go 语言 JSON 标准库的使用

    今天通过本文给大家介绍Go 语言 JSON 标准库的使用小结,包括序列化和反序列化的相关知识,感兴趣的朋友跟随小编一起看看吧
    2021-10-10
  • Go语言实现有规律的数字版本号的排序工具

    Go语言实现有规律的数字版本号的排序工具

    这篇文章主要为大家详细介绍了如何利用Go语言实现有规律的数字版本号的排序工具,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-01-01
  • 详解golang中bufio包的实现原理

    详解golang中bufio包的实现原理

    这篇文章主要介绍了详解golang中bufio包的实现原理,通过分析golang中bufio包的源码,来了解为什么bufio能够提高文件读写的效率和速度
    2018-01-01
  • Golang搭建grpc环境的流程步骤

    Golang搭建grpc环境的流程步骤

    这篇文章主要给大家介绍了Golang搭建grpc环境的流程步骤,文中通过图文结合的方式给大家讲解的非常详细,对大家了解Golang搭建grpc环境有一定的帮助,需要的朋友可以参考下
    2024-03-03
  • 详解Go语言实现线性查找算法和二分查找算法

    详解Go语言实现线性查找算法和二分查找算法

    线性查找又称顺序查找,它是查找算法中最简单的一种。二分查找,也称折半查找,相比于线性查找,它是一种效率较高的算法。本文将用Go语言实现这两个查找算法,需要的可以了解一下
    2022-12-12
  • 详解Go语言中如何高效遍历目录

    详解Go语言中如何高效遍历目录

    目录遍历是一个很常见的操作,它的使用场景有如文件目录查看、文件系统清理、日志分析、项目构建等,本文将详细介绍在Go中几种遍历目录文件的方法,需要的可以参考下
    2024-02-02
  • 深入解析Go语言中for循环的写法

    深入解析Go语言中for循环的写法

    这篇文章主要介绍了Go语言中for循环的写法,是Golang入门学习中的基础知识,需要的朋友可以参考下
    2015-10-10
  • go语言简单网络程序实例分析

    go语言简单网络程序实例分析

    这篇文章主要介绍了go语言简单网络程序实现方法,实例分析了服务器端与客户端的实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-02-02
  • 深入了解Go语言中的作用域和变量重声明

    深入了解Go语言中的作用域和变量重声明

    在 Go 语言中,代码块的嵌套和作用域是程序设计的关键概念之一,本文将探讨如何在 Go 语言中利用代码块的嵌套和作用域来组织代码,并介绍变量重声明的规则,感兴趣的可以了解下
    2023-11-11
  • go语言实现将重要数据写入图片中

    go语言实现将重要数据写入图片中

    本文给大家分享的是go语言实现将数据的二进制形式写入图像红色通道数据二进制的低位,从而实现将重要数据隐藏,有需要的小伙伴参考下吧。
    2015-03-03

最新评论